[논문 리뷰] Interpretable Adversarial Perturbation in Input Embedding Space for Text

Motoki Sato, Jun Suzuki외 2명|arXiv (Cornell University)|2018. 05. 08.

Adversarial Robustness in Machine Learning참고 문헌 24인용 수 37

한 줄 요약

이 논문은 단어 임베딩 공간 내에서의 편향을 기존 단어들 향하는 방향으로만 제한함으로써 텍스트에서 해석 가능한 적대적 훈련을 제안한다. 이는 적대적 예제를 의미 있는 문장 수준의 단어 치환으로 직접 복원할 수 있게 하며, 모델 성능을 유지하거나 향상시키면서도 인간이 이해할 수 있는 적대적 텍스트와 시각화를 생성한다. 이는 이전의 기울기 기반 적대적 훈련 방법에서 잃어버린 해석 가능성의 회복을 가능하게 한다.

ABSTRACT

Following great success in the image processing field, the idea of adversarial training has been applied to tasks in the natural language processing (NLP) field. One promising approach directly applies adversarial training developed in the image processing field to the input word embedding space instead of the discrete input space of texts. However, this approach abandons such interpretability as generating adversarial texts to significantly improve the performance of NLP tasks. This paper restores interpretability to such methods by restricting the directions of perturbations toward the existing words in the input embedding space. As a result, we can straightforwardly reconstruct each input with perturbations to an actual text by considering the perturbations to be the replacement of words in the sentence while maintaining or even improving the task performance.

연구 동기 및 목표

• 지속적인 임베딩 공간 내 편향이 실제 단어로 쉽게 복원되지 않는 기울기 기반 적대적 훈련에서의 해석 가능성 부족 문제를 해결하기 위해.
• 모델의 정규화 효과를 유지하면서도 실제 문장 수정(예: 단어 치환)으로 해석 가능한 적대적 예제를 생성할 수 있는 방법을 개발하기 위해.
• 연구자들이 인간이 이해할 수 있는 편향을 통해 모델의 취약점을 드러내는 적대적 텍스트를 생성함으로써 블랙박스 신경망 모델을 분석할 수 있도록 하기 위해.

제안 방법

• 입력 임베딩 공간 내 적대적 편향을 어휘에 존재하는 단어의 위치로만 제한한다.
• 문장 내 각 단어에 대해 손실를 최대화하면서도 가장 가까운 기존 단어 임베딩을 목표 방향으로 선택하는 편향 방향을 계산한다.
• 편향 벡터를 각 단어 임베딩 벡터에 투영한 최대값을 사용해 가장 관련 있는 단어 치환을 결정한다.
• 기본 모델과 동일한 훈련 목표를 유지하면서, 이 제약 조건을 적대적 훈련(iAdvT-Text)과 가상 적대적 훈련(iVAT-Text)에 적용한다.
• 편향 방향에 따라 기존 단어 중 가장 가까운 단어로 원래 단어를 대체함으로써 적대적 텍스트를 복원한다.
• 편향 방향과 코사인 유사도가 가장 높은 단어를 선택하여 편향을 시각화함으로써 인간이 이해할 수 있는 모델 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 입력 임베딩 공간 내의 적대적 편향을 어휘 내 존재하는 단어들 향하는 방향으로만 제한할 수 있는가? 이를 통해 해석 가능한 적대적 텍스트 생성이 가능한가?
• RQ2 기존 단어 임베딩으로 편향을 제약할 경우 모델 성능이 떨어지는가, 아니면 이전 방법과 마찬가지로 일반화 성능을 유지하거나 향상시킬 수 있는가?
• RQ3 결과적으로 생성된 적대적 예제는 모델을 오도하는 의미 있는 자연어 문장 수정(예: 단어 치환)으로 의미적으로 재구성될 수 있는가?
• RQ4 비해석 가능한 편향과 비교했을 때, 이 해석 가능한 편향은 모델 행동을 시각화하고 모델의 약점을 특정하는 데 얼마나 효과적인가?
• RQ5 이 방법은 의미적으로 타당하고 동시에 오분류를 유도하는 데 효과적인 적대적 텍스트를 생성할 수 있는가?

주요 결과

• 제안된 방법인 iAdvT-Text는 감성 분류(SEC), 카테고리 분류(CAC), 문법 오류 탐지(GED) 벤치마크에서 최신 기준 성능을 달성하였으며, 기준 모델인 AdvT-Text와 동일하거나 이를 초월하였다.
• iAdvT-Text는 의미적으로 타당한 대체어(예: 'this' → 'that')로 단어를 치환함으로써 적대적 텍스트를 성공적으로 생성하였으며, 이는 문장 의미를 유지하면서도 모델의 오분류를 유도하였다.
• 시각화 결과, iAdvT-Text의 편향은 일관되게 의미 있는 단어 치환(예: 'practise' → 'play')을 향해 향하는 반면, 기준 모델인 AdvT-Text는 해석할 수 없는 치환(예: '<eos>' → 'Analyze')을 생성하였다.
• 이 방법은 모델 일반화를 유지하거나 향상시켰으며, 해석 가능성의 확보가 성능에 비용을 치르지 않음을 입증하였다. 특히 편향 방향에 대한 강력한 제약 조건 하에서도 성능이 유지되었다.
• iAdvT-Text를 통해 생성된 적대적 예제는 효과적으로 모델을 속였다. 예를 들어 감성 분류에서 'Negative'를 'Positive'로 변경하는 데 성공하였으며, 문법적으로나 의미적으로 타당한 상태를 유지하였다.
• 이 방법은 연구자들이 특정 단어 선택에 대한 모델 민감도를 드러내는 인간이 이해할 수 있는 적대적 텍스트를 생성함으로써 블랙박스 모델 분석을 가능하게 하여, 모델의 해석 가능성과 강건성 분석을 향상시킨다.