[논문 리뷰] Saliency-driven Word Alignment Interpretation for Neural Machine Translation

Shuoyang Ding, Hainan Xu외 1명|arXiv (Cornell University)|2019. 06. 25.

Natural Language Processing Techniques참고 문헌 41인용 수 9

한 줄 요약

이 논문은 신경 기계 번역(NMT) 모델 내 단어 정렬을 해석하기 위해 민감도와 SmoothGrad를 활용한 모델 독립적이고 파라미터가 없는 방법을 제안한다. 주의 분석만으로는 부적절한 정렬이 도출됨을 입증한다. 제안된 방법은 주의 기반 기준보다 10–20점 낮은 정렬 오류율(AER)을 기록하며, fast-align보다 최대 8.7점 우수하다. 이는 FConv 및 Transformer와 같은 NMT 모델이 아키텍처나 학습 방식의 수정 없이도 해석 가능한 정렬을 암묵적으로 학습하고 있음을 시사한다.

ABSTRACT

Despite their original goal to jointly learn to align and translate, Neural Machine Translation (NMT) models, especially Transformer, are often perceived as not learning interpretable word alignments. In this paper, we show that NMT models do learn interpretable word alignments, which could only be revealed with proper interpretation methods. We propose a series of such methods that are model-agnostic, are able to be applied either offline or online, and do not require parameter update or architectural change. We show that under the force decoding setup, the alignments induced by our interpretation method are of better quality than fast-align for some systems, and when performing free decoding, they agree well with the alignments induced by automatic alignment tools.

연구 동기 및 목표

• 주의 메커니즘을 갖추고도 일반적으로 투명성이 떨어지는 것으로 간주되는 NMT 모델, 특히 Transformer의 경우 해석 가능한 단어 정렬 해석의 부족을 해결하기 위해.
• 모델 아키텍처나 재학습 없이도 고품질의 단어 정렬을 추출할 수 있는 방법을 개발하기 위해.
• 주의 분석만으로도 신뢰할 수 있는 정렬을 도출할 수 있는지 여부를 평가하기 위해.
• 제약 있는 디코딩 및 컴퓨터 지원 번역 환경에 적용 가능한 확장성 있고 온라인 기반의 해석 방법을 제공하기 위해.

제안 방법

• 방법은 인코더와 디코더의 은닉 상태 간의 단어 수준 중요도 점수를 계산하기 위해 기울기 기반 민감도, 특히 SmoothGrad를 사용한다.
• 입력에 가우시안 노이즈를 추가하고 다수의 순방향 전파를 반복해 기울기를 평균함으로써 노이즈를 감소시키고 안정성을 향상시킨다.
• 최종 정렬은 각 타겟 단어에 대해 가장 높은 민감도 점수를 가진 소스 단어를 선택함으로써 하드 정렬 맵을 도출한다.
• 이 방법은 오프라인(전체 번역 후) 및 온라인(디코딩 중) 모두에 적용 가능하므로 실시간 시스템에서도 활용할 수 있다.
• 이 방법은 모델 독립적이며 NMT 모델의 파라미터 업데이트나 아키텍처 변경이 필요하지 않다.
• 평가에서는 고정 생성 순서를 사용하는 강제 디코딩과 동적 생성을 允허하는 자유 디코딩을 비교하며, 주의 분석 및 fast-align과의 정렬 품질을 평가한다.

실험 결과

연구 질문

• RQ1 민감도 기반 해석 방법이 NMT 모델에서 주의 분석보다 더 높은 품질의 단어 정렬을 도출할 수 있는가?
• RQ2 FConv 및 Transformer와 같은 NMT 모델은 명시적 정렬 학습 없이도 해석 가능한 단어 정렬을 암묵적으로 학습하는가?
• RQ3 모델 독립적이고 파라미터가 없는 해석 방법이 fast-align과 같은 외부 도구보다 정렬 품질에서 뛰어나게 성능을 낼 수 있는가?
• RQ4 강제 디코딩 대비 자유 디코딩 설정에서 민감도 기반 정렬의 품질은 어떻게 달라지는가?
• RQ5 SmoothGrad의 노이즈 분산과 스무딩 정도가 정렬의 산산이 흩어짐과 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• 민감도 기반 방법은 다양한 NMT 모델에서 주의 기반 정렬 해석 대비 정렬 오류율(AER)을 10–20점 감소시킨다.
• 이 방법은 fast-align보다 최대 8.7 AER 포인트 우수하며, 특히 자유 디코딩 설정에서 두드러진 성능 향상을 보인다.
• 아키텍처나 학습 수정 없이도 FConv 및 Transformer 모델은 fast-align 수준의 정량적 품질의 정렬을 암묵적으로 학습하고 있음이 확인되었다.
• 엔트로피로 측정한 정렬 산산이 흩어짐은 민감도 기반 방법이 주의 분석보다 낮게 나타나, 더 집중적이고 안정적인 정렬임을 시사한다.
• 강제 디코딩 설정은 자유 디코딩 대비 略로 더 많은 노이즈를 유발하지만, 정렬 품질의 차이는 미미하다.
• 노이즈 분산(σ)이 증가할수록 SmoothGrad는 정렬의 산산이 흩어짐을 증가시키며, 이는 방법이 스무딩 파라미터에 민감함을 확인한다.