[논문 리뷰] Interpretable Adversarial Training for Text

Samuel Barham, Soheil Feizi|arXiv (Cornell University)|2019. 05. 30.

Adversarial Robustness in Machine Learning참고 문헌 37인용 수 11

한 줄 요약

이 논문은 문장 수준에서 희소성과 함께 가장 가까운 이웃 단어 임베딩으로의 투영을 통해 해석 가능하고 낮은 퍼플렉서티를 가지는 적대적 예제를 생성하는 방법인 희소 투영 경사 하강법(SPGD)을 제안한다. SPGD는 기존의 최고 성능을 기록하는 테스트 정확도를 유지하면서도 적대적 예제의 해석 가능성과 당연성(퍼플렉서티로 측정)을 향상시킨다. 이는 기존의 보편적 AdvT-Text 및 iAdvT-Text보다 품질과 의미적 일관성 면에서 뛰어나다.

ABSTRACT

Generating high-quality and interpretable adversarial examples in the text domain is a much more daunting task than it is in the image domain. This is due partly to the discrete nature of text, partly to the problem of ensuring that the adversarial examples are still probable and interpretable, and partly to the problem of maintaining label invariance under input perturbations. In order to address some of these challenges, we introduce sparse projected gradient descent (SPGD), a new approach to crafting interpretable adversarial examples for text. SPGD imposes a directional regularization constraint on input perturbations by projecting them onto the directions to nearby word embeddings with highest cosine similarities. This constraint ensures that perturbations move each word embedding in an interpretable direction (i.e., towards another nearby word embedding). Moreover, SPGD imposes a sparsity constraint on perturbations at the sentence level by ignoring word-embedding perturbations whose norms are below a certain threshold. This constraint ensures that our method changes only a few words per sequence, leading to higher quality adversarial examples. Our experiments with the IMDB movie review dataset show that the proposed SPGD method improves adversarial example interpretability and likelihood (evaluated by average per-word perplexity) compared to state-of-the-art methods, while suffering little to no loss in training performance.

연구 동기 및 목표

• 기존 텍스트용 적대적 훈련 방법에서의 해석 가능성 부족과 높은 당연성(퍼플렉서티) 문제를 해결하기 위해.
• 원래 분포에 가까운 동시에 의미적으로 일관성 있는 적대적 예제의 품질을 향상시키기 위해.
• 각 시퀀스당 변경된 단어 수를 줄이며, 변형에 의해 레이블이 유지되는 것을 보장하기 위해.
• 인간이 이해할 수 있는 적대적 예제를 생성함으로써 텍스트 분류기의 디버깅을 용이하게 하는 방법을 개발하기 위해.
• 보다 높은 품질의 적대적 예제가 텍스트 분류에서 더 나은 일반화 성능을 이끌어내는지 입증하기 위해.

제안 방법

• SPGD는 가장 높은 코사인 유사도를 가지는 가장 가까운 이웃 단어 임베딩 방향으로의 투영을 통해 방향성 정규화 제약 조건을 도입한다.
• 절댓값의 상위 σ 비율의 편향만 유지함으로써 문장 수준에서 희소성을 강제하여 변경된 단어의 수를 줄인다.
• 편향이 이웃 단어들로 향하는 방향으로 이동하도록 제약 조건을 부여함으로써, 임베딩 공간에서 투영 경사 하강법을 적용한다.
• 편향 방향은 가장 가까운 이웃 임베딩을 향한 정규화된 벡터로 계산되며, 이는 해석 가능성 보장에 기여한다.
• 레이블 불변성을 위해 변경된 단어의 수를 제한함으로써 간접적으로 유지된다.
• 원본 예제와 SPGD로 생성된 적대적 예제를 동시에 최적화함으로써 적대적 훈련에 통합된다.

실험 결과

연구 질문

• RQ1 편향을 가장 가까운 단어 임베딩으로 제한함으로써 텍스트의 적대적 예제를 더 해석 가능하게 만들 수 있는가?
• RQ2 편향에 희소성을 도입하면 적대적 시퀀스의 당연성과 문법적 품질이 향상되는가?
• RQ3 방향성 정규화와 희소성을 결합한 방법이 기존의 적대적 훈련 기준 대비 모델의 테스트 정확도를 유지하거나 향상시킬 수 있는가?
• RQ4 퍼플렉서티로 측정했을 때, SPGD로 생성된 적대적 예제는 데이터 생성 분포에 얼마나 가까이 유지되는가?
• RQ5 더 높은 희소성 계수(예: σ = 0.75)를 사용할 경우, 텍스트 분류에서 더 나은 일반화와 강건성이 달성되는가?

주요 결과

• SPGD로 생성된 적대적 예제는 보편적 AdvT-Text(21.5) 및 iAdvT-Text(22.1)보다 평균 단어당 퍼플렉서티가 낮은 17.3을 기록하여 더 높은 당연성과 데이터 분포와의 정렬도를 보였다.
• 모델의 테스트 정확도는 유지되었으며, IMDB 데이터셋에서 93.54%의 정확도를 기록했다. 이는 보편적 AdvT-Text 및 iAdvT-Text의 93.58%와 유사한 성능이다.
• 희소성 계수 σ = 0.75일 때 SPGD는 최고의 테스트 정확도를 기록하여, 더 높은 희소성이 일반화 성능 향상에 기여함을 시사한다.
• SPGD로 생성된 이산화된 적대적 시퀀스는 AdvT-Text나 iAdvT-Text보다 문법적으로 더 정확하고 원본과 의미적으로 더 유사했으며, 레이블 뒤집힘의 사례가 적었다.
• SPGD로 생성된 적대적 예제는 기존 방법보다 실제 데이터와 더 유사하여, 원본 시퀀스와 유사한 퍼플렉서티를 보이며 더 이상 구분하기 어려웠다.
• 각 비영소 편향이 가장 가까운 이웃 단어로 매핑될 수 있기 때문에, SPGD는 적대적 행동의 더 쉬운 해석을 가능하게 하여 모델 디버깅을 용이하게 한다.