[논문 리뷰] A Reinforced Generation of Adversarial Examples for Neural Machine Translation

Wei Zou, Shujian Huang외 3명|arXiv (Cornell University)|2019. 11. 09.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 11

한 줄 요약

이 논문은 신경 기계 번역(NMT)을 대상으로 하되 의미를 유지하면서 번역 성능을 떨어뜨리는 적대적 예제를 생성하기 위한 강화 학습 기반 방법을 제안한다. 종료 신호로 판별기(discriminator)를 사용하고 BLEU 점수 저하를 최적화함으로써, RNN-Search 및 Transformer 모델 전반에 걸쳐 안정적이고 의미를 유지하는 적대적 입력을 효율적으로 생성한다. 이는 수작업으로 만든 특징 없이도 시스템의 취약성을 효과적으로 분석할 수 있도록 한다.

ABSTRACT

Neural machine translation systems tend to fail on less decent inputs despite its significant efficacy, which may significantly harm the credibility of this systems-fathoming how and when neural-based systems fail in such cases is critical for industrial maintenance. Instead of collecting and analyzing bad cases using limited handcrafted error features, here we investigate this issue by generating adversarial examples via a new paradigm based on reinforcement learning. Our paradigm could expose pitfalls for a given performance metric, e.g., BLEU, and could target any given neural machine translation architecture. We conduct experiments of adversarial attacks on two mainstream neural machine translation architectures, RNN-search, and Transformer. The results show that our method efficiently produces stable attacks with meaning-preserving adversarial examples. We also present a qualitative and quantitative analysis for the preference pattern of the attack, demonstrating its capability of pitfall exposure.

연구 동기 및 목표

• 저품질의 입력에 대한 신경 기계 번역 시스템의 실패 원인을 수작업으로 만든 오류 특징에 의존하지 않고 식별하는 데 도전한다.
• 의미를 유지하면서 번역 성능을 떨어뜨리는 모델에 종속되지 않은 효율적인 적대적 예제 생성 방법을 개발한다.
• 오직 원본 측 단일 언어 데이터만을 사용하여 적대적 예제를 생성함으로써 NMT 시스템의 견고성에 대한 체계적 분석을 가능하게 한다.
• 적대적 예제를 공격 수단을 넘어서 번역 성능 향상을 위해 '강화된 예제'를 통해 모델 출력을 향상시키는 데도 활용할 수 있는 잠재력을 탐색한다.

제안 방법

• 강화 학습 에이전트는 피해자 NMT 모델의 BLEU 점수를 최소화하도록 원본 문장의 토큰 수준에서 이산적인 변형을 적용하도록 훈련된다.
• 환경는 변형된 입력가 원본과 의미적으로 유사한지 평가하기 위해 판별기를 사용하여 의미 유지 보장을 한다.
• 에이전트의 정책은 정책 기반 강화 학습 방법을 사용하여 최적화되며, 보상은 BLEU 점수 저하 정도와 의미 유사도에 의해 형상화된다.
• 이 방법은 피해자 모델의 기울기 계산이나 대상 측 애너테이션을 필요로 하지 않아 모델에 종속되지 않으며 효율적이다.
• 다른 보상 구조를 사용한 별도의 훈련 설정을 통해 '강화된 예제'—번역 성능을 향상시키는 변형—를 발견한다.
• 이 방법은 오직 단일 언어의 원본 데이터만을 활용하여 대규모로 적대적 예제와 강화된 예제를 생성할 수 있다.

실험 결과

연구 질문

• RQ1 강화 학습 기반 방법이 의미를 유지하면서도 번역 성능을 떨어뜨리는 NMT를 위한 적대적 예제를 효과적으로 생성할 수 있는가?
• RQ2 이러한 방법은 자연어 처리 분야의 기울기 기반 또는 검색 기반 적대적 예제 생성 방법과 비교해 효율성과 효과성 면에서 어떻게 다른가?
• RQ3 이 방법은 RNN-Search 및 Transformer와 같은 다양한 NMT 모델의 아키텍처적 취약점을 얼마나 잘 드러내는가?
• RQ4 성능 저하를 유도하는 변형 외에도 성능 향상을 유도하는 변형을 찾을 수 있으며, 이는 적대적 방어에 어떤 함의를 갖는가?
• RQ5 이 방법은 모델 특화된 튜닝이나 애너테이션 없이 다양한 NMT 아키텍처에 적용 가능한가?

주요 결과

• 제안된 방법은 RNN-Search 및 Transformer 모델 전반에 걸쳐 BLEU 점수 저하를 유도하면서도 의미를 유지하는 적대적 예제를 성공적으로 생성하였다.
• 이 방법은 피해자 모델의 기울기 계산이 필요 없고 오직 원본 측 단일 언어 데이터만으로도 안정적이고 효율적인 공격을 수행하였다.
• 실험 결과는 공격 패tern의 정성적·정량적 분석을 통해 시스템의 약점들을 드러내었으며, 이는 견고성 평가에 실용적인 기여를 한다는 것을 입증하였다.
• 변형된 입력의 일부는 '강화된 예제'로 불리며 번역 성능 향상을 유도하는 것으로 나타났으며, 이는 모델의 일반화 능력 향상 잠재력을 시사한다.
• 이 방법은 모델에 종속되지 않으며 수작업으로 만든 오류 특징에 의존하지 않아 다양한 NMT 아키텍처에 넓게 적용 가능하다.
• 판별기 기반 보상 메커니즘은 이전의 대체 손실 함수나 어휘 교체에 의존하는 방법보다 더 강력한 의미 제약 조건을 제공한다.