[논문 리뷰] Analyzing Uncertainty in Neural Machine Translation

Myle Ott, Michael Auli외 2명|arXiv (Cornell University)|2018. 02. 28.

Natural Language Processing Techniques참고 문헌 30인용 수 55

한 줄 요약

이 논문은 신경 기계 번역에서 내재적 및 외재적 불확실성을 분석하고 빔 검색과 샘플링을 비교하며, 검색이 효과적이지만 모델 분포가 확률 질량을 너무 광범위하게 퍼뜨리고, 훈련 데이터 노이즈(예: 복사된 소스)가 대형 빔의 성능을 저하시킨다는 것을 보여준다; 또한 보정 분석과 간단한 완화 전략을 제시하며 WMT 벤치마크에 대한 인간 참조 번역을 공개한다.

ABSTRACT

Machine translation is a popular test bed for research in neural sequence-to-sequence models but despite much recent research, there is still a lack of understanding of these models. Practitioners report performance degradation with large beams, the under-estimation of rare words and a lack of diversity in the final translations. Our study relates some of these issues to the inherent uncertainty of the task, due to the existence of multiple valid translations for a single source sentence, and to the extrinsic uncertainty caused by noisy training data. We propose tools and metrics to assess how uncertainty in the data is captured by the model distribution and how it affects search strategies that generate translations. Our results show that search works remarkably well but that models tend to spread too much probability mass over the hypothesis space. Next, we propose tools to assess model calibration and show how to easily fix some shortcomings of current models. As part of this study, we release multiple human reference translations for two popular benchmarks.

연구 동기 및 목표

• 다중 유효한 번역이라는 내재적 작업 불확실성 및 외재적 데이터 노이즈가 NMT 성능에 미치는 영향을 조사한다.
• 모델 분포가 데이터 분포에 얼마나 잘 맞는지와 이것이 탐색 전략에 미치는 영향을 평가한다.
• 토큰, 집합, 시퀀스 수준의 보정을 특성화하고 해결책을 식별한다.
• 대형 빔 디코딩에서 훈련 데이터 인공물(예: 복사된 소스)이 미치는 영향을 평가한다.
• 실용적인 완화 전략을 제공하고 벤치마크용 인간 참조 번역을 공개한다.

제안 방법

• 인코더-디코더 구조와 어텐션을 갖춘 사전 학습된 Fairseq 기반 시퀀스-투-시퀀스 모델을 사용한다.
• 가설 간 빔 검색과 샘플링을 비교하고 BLEU 및 모델 가능도(model likelihood)를 평가하여 불확실성을 정량화한다.
• 모델 출력과 데이터 분포를 비교하기 위해 토큰 수준의 unigram 통계를 분석한다.
• 가설 집합에 대한 모델 확률을 실제 데이터 확률과 비교하여 집합 수준의 보정을 평가한다.
• 학습 데이터에 합성 복사 노이즈를 도입하여 외재적 불확실성 효과를 연구하고 완화 전략을 테스트한다.
• 평가를 지원하기 위해 WMT 데이터셋에 대한 다수의 인간 참조 번역을 공개한다.

실험 결과

연구 질문

• RQ1 NMT 모델은 번역의 내재된 모호성과 훈련 데이터의 인공물을 얼마나 잘 포착하는가?
• RQ2 왜 큰 빔 너비가 번역 품질을 저하시킬까, 이는 모델 적합성 때문인가 아니면 탐색 편향 때문인가?
• RQ3 NMT 모델은 토큰, 문장, 및 집합 수준에서 확률 추정치를 보정하는가?
• RQ4 복사된 소스 타깃과 같은 데이터 인공물이 디코딩 동작과 번역 품질에 미치는 영향은 무엇인가?
• RQ5 간단한 데이터 정리(cleaning) 및 추론 제약이 넓은 빔에서 관찰된 문제를 완화할 수 있는가?

주요 결과

• 빔 검색은 높은 가능성의 번역을 찾는 데 효과적이지만 모델 분포가 가설들에 걸쳐 확률 질량을 너무 넓게 분산시킨다.
• 샘플링은 다양한 출력값을 생산하지만 최상위 후보에 대해 상위 BLEU가 빔 검색보다 낮고 더 많은 샘플이 추출될수록 BLEU가 감소할 수 있다.
• 학습 데이터의 복사성 노이즈(소스의 대상 복사)가 대형 빔 출력에서 복사본을 불균형적으로 증가시켜 넓은 빔의 BLEU를 저하시킨다.
• 데이터 전처리(복사 유사 쌍 제거) 및 추론 제약(소스와의 중복 제거)이 대형 빔 저하를 완화하고 BLEU를 향상시킨다.
• 모델 샘플의 unigram 통계는 일반 단어에 대해서는 데이터와 정렬되지만 드문 단어의 비대표성이 빔 출력에서 나타나 단어 수준의 보정 격차를 시사한다.
• 집합 수준의 보정은 가설 집합을 고려할 때 모델의 확률 질량이 데이터 분포에 정렬되는 것을 보여주며, 개별 시퀀스가 과대/과소 추정될 수 있다.