[논문 리뷰] On Exposure Bias, Hallucination and Domain Shift in Neural Machine Translation

Chaojun Wang, Rico Sennrich|Zurich Open Repository and Archive (University of Zurich)|2020. 05. 07.

Natural Language Processing Techniques참고 문헌 32인용 수 13

한 줄 요약

이 논문은 신경 기계 번역(NMT)에서의 노출 편향(exposure bias)이 환각(hallucinations)과 도메인 이탈(domain shift)과 연결됨을 규명하고, 최소 위험 훈련(Minimum Risk Training, MRT)이 교사 강요(teacher forcing)를 피하므로 이러한 문제를 줄임을 보여준다. MRT는 도메인 외 성능을 0.6–1.5 BLEU 향상시키며, 환각을 11–21% 상대적으로 감소시키고, 더 큰 비트 크기에서도 비트 서치를 안정화시킨다.

ABSTRACT

The standard training algorithm in neural machine translation (NMT) suffers from exposure bias, and alternative algorithms have been proposed to mitigate this. However, the practical impact of exposure bias is under debate. In this paper, we link exposure bias to another well-known problem in NMT, namely the tendency to generate hallucinations under domain shift. In experiments on three datasets with multiple test domains, we show that exposure bias is partially to blame for hallucinations, and that training with Minimum Risk Training, which avoids exposure bias, can mitigate this. Our analysis explains why exposure bias is more problematic under domain shift, and also links exposure bias to the beam search problem, i.e. performance deterioration with increasing beam size. Our results provide a new justification for methods that reduce exposure bias: even if they do not increase performance on in-domain test sets, they can increase model robustness to domain shift.

연구 동기 및 목표

• 노출 편향이 NMT에서 환각과 도메인 이탈에 미치는 실용적 영향을 조사하는 것.
• 노출 편향이 비트 크기가 증가할수록 성능이 악화되는 비트 서치 문제를 악화시키는지 조사하는 것.
• MLE와 유사한 순서 수준의 훈련 목표인 MRT가 도메인 이탈에 대한 모델의 강건성 향상에 기여하는지 평가하는 것.
• MLE와 MRT가 각각 시간 단계별로 참조 번역과 가짜(환각) 번역의 확률 할당 방식과 번역 불확실성 모델링 방식에서 어떻게 다름을 분석하는 것.
• 저자원 또는 도메인 외 설정에서 환각 문제가 심각한 상황에서 MRT를 사용할 근거를 경험적으로 제시하는 것.

제안 방법

• 노출 편향을 피하기 위해 후보 번역에 대한 기대 손실을 최적화하는 순서 수준의 목표로 최소 위험 훈련(Minimum Risk Training, MRT)을 사용한다.
• 온도 파라미터 α를 사용해 번역에 대한 사후 분포의 샘플링 기반 근사치를 계산하며, 이로써 날카기 정도를 제어한다.
• 의료, IT, 법적, 코란, 자막 등 다양한 도메인을 포함한 IWSLT’14 및 OPUS 데이터셋에서 트랜스포머 기반 NMT 모델을 훈련한다. 또한 저자원 독일-로망슈 설정도 포함한다.
• 내부 도메인 및 외부 도메인 테스트 세트에서 MLE(교사 강요를 동반한 최대우도추정)와 MRT를 비교한다.
• BLEU 점수와 환각 비율을 통해 번역 품질을 평가하며, 환각 탐지에 대해 수동 애너테이션을 실시한다.
• 각 시간 단계에서 참조 번역과 배제 번역(환각 번역)의 예측 확률을 비교함으로써 모델의 불확실성 특성을 분석한다.

Figure 1: Per-token probability of out-of-domain reference translations and in-domain distractors (first two graphs share legend). Rightmost plot shows direct comparison for MLE baseline and final MRT model. DE $\to$ EN OPUS .

실험 결과

연구 질문

• RQ1 노출 편향은 도메인 이탈 상황에서 NMT에서 환각을 유발하는가?
• RQ2 노출 편향은 비트 크기가 증가할수록 성능이 악화되는 비트 서치 문제와 어떻게 관련되어 있는가?
• RQ3 노출 편향을 피하는 MRT는 환각을 줄이고 도메인 이탈에 대한 강건성을 향상시킬 수 있는가?
• RQ4 MLE와 MRT는 각각 번역 해독 단계에서 참조 번역과 환각 번역의 확률 추정 방식에서 어떻게 다름을 보이는가?
• RQ5 MRT의 이점은 내부 도메인 성능에 국한되는가, 아니면 도메인 외 또는 저자원 설정에서도 측정 가능한 성과를 제공하는가?

주요 결과

• MRT는 다양한 비트 크기에서 환각을 11–21% 상대적으로 감소시키며, 비트 크기 50일 때 가장 큰 감소율을 보였다.
• 비트 크기 50일 때, MRT는 MLE 대비 도메인 외 BLEU 점수를 0.6–1.5 BLEU 향상시켜 도메인 이탈에 대한 강건성 향상을 시사한다.
• MLE는 특히 레이블 스무딩을 적용한 경우, 후행 시간 단계에서 환각 번역의 확률을 과도하게 추정한다.
• MRT는 참조 번역에 대해 더 높은 모델의 확신도를 부여하며, 배제 번역보다 확률 격차를 좁혀 환각 위험을 줄인다.
• MRT는 비트 서치 문제를 완화한다: MLE 대비 비트 크기가 증가할수록 성능 저하가 더 완만하다.
• 수동 평가 결과, MRT는 모든 비트 크기에서 환각 비율을 일관되게 감소시키며, MLE 대비 11–21%의 상대 감소를 확인했다.

Figure 2: Per-token probability of out-of-domain reference translations and in-domain distractors for different checkpoints in MRT training, showing a widening gap between references and distractors. DE $\to$ EN OPUS.