[논문 리뷰] Towards Understanding Neural Machine Translation with Word Importance

Shilin He, Zhaopeng Tu외 4명|arXiv (Cornell University)|2019. 09. 01.

Natural Language Processing Techniques참고 문헌 39인용 수 11

한 줄 요약

이 논문은 신경 기계 번역(NMT)에서 단어 중요도를 측정하기 위해 통합 기울기(gradient) 기반 방법을 제안하며, 검정 상자 방법에 비해 영향력 있는 입력 단어를 더 잘 식별함을 보여준다. 주요 발견은 어순 카테고리에 따라 어휘 중요도가 다양하게 나타나며, 예를 들어 중국어→영어 번역에서는 명사, 영어→프랑스어 번역에서는 전치사에서 뚜렷한 패턴을 보이며, 번역이 부족한 단어를 탐지할 수 있어 언어별 특화된 인도적 편향을 반영한 보다 나은 NMT 아키텍처 설계에 기여한다.

ABSTRACT

Although neural machine translation (NMT) has advanced the state-of-the-art on various language pairs, the interpretability of NMT remains unsatisfactory. In this work, we propose to address this gap by focusing on understanding the input-output behavior of NMT models. Specifically, we measure the word importance by attributing the NMT output to every input word through a gradient-based method. We validate the approach on a couple of perturbation operations, language pairs, and model architectures, demonstrating its superiority on identifying input words with higher influence on translation performance. Encouragingly, the calculated importance can serve as indicators of input words that are under-translated by NMT models. Furthermore, our analysis reveals that words of certain syntactic categories have higher importance while the categories vary across language pairs, which can inspire better design principles of NMT architectures for multi-lingual translation.

연구 동기 및 목표

• 개별 입력 단어가 출력에 미치는 영향을 측정함으로써 신경 기계 번역(NMT) 모델의 해석 가능성을 향상시키기 위해.
• 주의 기반 설명이 실제 단어 중요도와 강한 상관관계를 가지지 못하는 한계를 해결하기 위해.
• 다양한 언어 쌍과 모델 아키텍처에서 단어 중요도 추정을 위한 기울기 기반 방법의 타당성을 검증하기 위해.
• 단어 중요도 점수를 사용해 번역이 부족한 단어를 탐지함으로써 모델 개선을 위한 잠재적 접근을 제공하기 위해.
• 언어별로 중요도가 높은 문법 카테고리를 밝혀내어 향후 NMT 아키텍처 설계에 기여하기 위해.

제안 방법

• 연구는 기준 입력에서 실제 입력에 이르는 경로를 따라 기울기를 통합함으로써 각 입력 단어에 대한 NMT 출력의 기여도를 할당하기 위해 통합 기울기(IG)를 사용한다.
• 단어 중요도는 통합 기울기 방법을 통해 계산되며, 이는 주의 점수보다 더 정확하고 안정적인 기여도 추정을 제공한다.
• 일반화를 확보하기 위해 여러 언어 쌍(예: 중국어→영어, 영어→프랑스어, 영어→일본어)과 두 가지 모델 아키텍처에서 접근법을 평가한다.
• 기울기 기반 중요도 점수의 효과성을 정량적으로 검증하기 위해 펌프리케이션 기반 분석(ablation study)를 실시한다.
• 고중요도 단어에 대해 문법 분석을 수행하여 품사(POS) 및 비옥도(생성되는 목표어의 수)로 분류한다.
• 영향력 있는 단어를 식별하는 데서의 우월성을 입증하기 위해, 검정 상자 펌프리케이션 방법과 주의 기반 설명과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 기울기 기반 단어 중요도 추정 방법은 번역 출력에 큰 영향을 미치는 입력 단어를 식별하는 데 얼마나 효과적인가?
• RQ2 다양한 언어 쌍에서 어순 카테고리 측면에서 단어 중요도는 어떻게 변화하는가?
• RQ3 단어 중요도 점수는 NMT 출력에서 번역이 부족한 단어를 탐지할 수 있는가?
• RQ4 비옥도 패턴(예: 일대다 매핑)은 단어 중요도와 어느 정도 상관관계가 있는가?
• RQ5 특히 형태적 구조가 뚜렷하거나 어순 민감도가 높은 언어에서, 문장 부호와 기능어의 중요도는 어떻게 다른 언어 쌍 간에 비교되는가?

주요 결과

• 특히 통합 기울기 기반 방법이 검정 상자 펌프리케이션 방법과 주의 점수에 비해 번역 출력에 큰 영향을 미치는 입력 단어를 더 잘 식별함을 입증한다.
• 일부 어순 카테고리의 단어는 일관되게 더 중요도가 높은 편이다: 중국어→영어 번역에서는 명사, 영어→프랑스어 번역에서는 전치사, 영어→일본어 번역에서는 전치사 및 문장 부호가 특히 두드러진다.
• 영어→일본어 번역에서 문장 부호가 매우 중요도가 높은 것으로 나타났으며, 이는 문법적 의미 그룹을 정의하는 데 기여하기 때문으로, 직관에 어긋나지만 경험적으로 확인된 발견이다.
• 일반적으로 일대다 비옥도(원천어가 여러 목표어로 매핑됨)는 모든 평가된 언어 쌍에서 높은 단어 중요도와 일관되게 연관되어 있다.
• 공백으로 정렬된 단어(번역되지 않은 단어)는 상당히 낮은 중요도 점수를 받으며, 이는 번역 출력에 거의 기여하지 않음을 확인한다.
• 품사 카테고리에 따른 단어 중요도 분포가 언어 쌍에 따라 상당히 다름을 보이며, 이는 NMT 모델 설계에 언어별 특화된 인도적 편향을 통합해야 한다는 것을 시사한다.