[논문 리뷰] Robustness to Programmable String Transformations via Augmented Abstract Training

Yuhao Zhang, Aws Albarghouthi외 1명|arXiv (Cornell University)|2020. 02. 21.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 사용자가 정의한 문자열 변환(예: 철자 오류, 동의어 치환, 삭제 등)에 대해 신경망의 강건성을 높이기 위한 하이브리드 방법인 보완 추상적 적대적 훈련(A3T)을 제안한다. 프로그래밍 가능한 방식으로 변형 공간을 정의하고 이를 증강 가능한 요소와 추상화 가능한 요소로 분해함으로써, A3T는 AG 및 SST2 데이터셋에서 순수한 증강 또는 추상화 방법보다 뛰어난 강건성을 달성한다.

ABSTRACT

Deep neural networks for natural language processing tasks are vulnerable to adversarial input perturbations. In this paper, we present a versatile language for programmatically specifying string transformations -- e.g., insertions, deletions, substitutions, swaps, etc. -- that are relevant to the task at hand. We then present an approach to adversarially training models that are robust to such user-defined string transformations. Our approach combines the advantages of search-based techniques for adversarial training with abstraction-based techniques. Specifically, we show how to decompose a set of user-defined string transformations into two component specifications, one that benefits from search and another from abstraction. We use our technique to train models on the AG and SST2 datasets and show that the resulting models are robust to combinations of user-defined transformations mimicking spelling mistakes and other meaning-preserving transformations.

연구 동기 및 목표

• NLP 모델의 적대적 입력 변형(예: 철자 오류, 동의어 치환 등)에 대한 취약성을 해결하기 위해.
• 대규모 이산적 변형 공간에서의 스케일러블한 적대적 훈련 방법을 개발하기 위해.
• 검색 기반 증강과 추상화 기반 기법의 장점을 융합하여 강건성을 향상시키기 위해.
• 적대적 훈련를 위한 의미 유지 가능한 복잡한 문자열 변환을 프로그래밍 가능한 방식으로 지정할 수 있도록 하기 위해.
• 실세계 NLP 벤치마크인 AG 및 SST2에서 제안된 방법의 효과성을 평가하기 위해.

제안 방법

• 문자열 변환을 일련의 연산(예: 삽입, 삭제, 치환 등)으로 지정할 수 있는 도메인 특화 언어를 도입한다.
• 사용자가 정의한 변형 공간을 두 개의 상호 배타적인 부분집합으로 분해한다: 하나는 구체적 검색(증강)을 위한 것이고, 다른 하나는 기호적 추상화(예: 간격 추상화)를 위한 것이다.
• 증강 구성 요소에 대해서는 기울기 기반 검색(예: HotFlip) 또는 순열을 사용하여 악성 변형을 찾는다.
• 추상화 구성 요소에 대해서는 기호적 초과 근사(예: 간격 분석)를 적용하여 변형 집합 전체에 대한 최악의 손실을 경계한다.
• 적대적 손실은 하이브리드 방식으로 계산되며, 검색으로부터의 하한과 추상화로부터의 상한을 조합함으로써 효율적이면서도 강건한 훈련이 가능하다.
• 이 방법은 문자 수준 및 단어 수준의 모델 모두에 적용되며, AG 및 SST2 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 A3T는 삽입/삭제 및 치환 연산을 포함하는 복잡한 사용자 정의 문자열 변환에 대해 모델의 강건성을 확보할 수 있는가?
• RQ2 순수한 증강 또는 추상화 기반 적대적 훈련 기법과 비교할 때 A3T의 강건성은 어떻게 되는가?
• RQ3 변형 공간의 크기가 증가함에 따라 A3T의 확장성은 유지되는가?
• RQ4 A3T의 성능은 다양한 모델 아키텍처와 변환 유형에 따라 어떻게 달라지는가?
• RQ5 다양한 변형 집합에서 높은 정상 정확도를 유지하면서도 높은 강건성을 달성할 수 있는가?

주요 결과

• A3T(HotFlip)는 변환 집합 {(T_SwapPair,2),(T_SubAdj,2)} 에 대해 AG 데이터셋에서 86.4의 완전 정확도를 달성하여 순수한 증강 및 추상화 방법을 모두 능가했다.
• SST2 데이터셋에서 A3T(HotFlip)는 정상 정확도 73.6을 유지하였으며, 과도한 근사로 인해 순수 추상화 방법이 달성한 58.8보다 훨씬 높았다.
• 변형 공간의 크기를 늘릴 경우, A3T(HotFlip)와 A3T(search)는 각각 1.6%와 1.1%의 완전 정확도 감소를 보였고, 다른 방법들에 비해 훨씬 낮은 감소율을 보였다.
• 변환 집합 {(T_DelStop,2),(T_SubSyn,2)} 에 대해 A3T(search)는 AG에서 86.8의 완전 정확도를 달성하여 A3T(HotFlip)에 가까운 성능을 보였고, 순수 추상화 방법보다 우수했다.
• 순수 추상화 방법은 SST2에서 더 작은 변형 범위를 적용했을 때 효과적으로 확장되지 않아, 오직 47.0의 완전 정확도를 기록하여 과도한 근사 문제를 드러냈다.
• 이 방법은 증강과 추상화를 융합함으로써, 대규모이고 복잡한 변형 공간에서도 정상 정확도를 희생시키지 않고도 강건성을 확보할 수 있음을 입증한다.