[논문 리뷰] Why Neural Machine Translation Prefers Empty Outputs

Xing Shi, Yijun Xiao외 1명|arXiv (Cornell University)|2020. 12. 24.

Natural Language Processing Techniques참고 문헌 21인용 수 5

한 줄 요약

이 논문은 신경 기계 번역(NMT) 시스템이 빈 출력을 선호하는 두 가지 근본 원인을 규명한다: 레이블 스무딩은 정확한 길이 번역에 대한 신뢰도를 낮추며, 모든 문장 길이에 동일한 종료문장(EoS) 토큰을 사용하는 것은 길이가 0인 번역의 확률을 높이는 암묵적 스무딩 효과를 생성한다. 다중EoS(MultiEoS)를 도입함으로써 저자들은 이러한 편향을 제거하여 빈 번역 비율을 크게 감소시키고, 적절한 길이 조절 기능을 복원한다.

ABSTRACT

We investigate why neural machine translation (NMT) systems assign high probability to empty translations. We find two explanations. First, label smoothing makes correct-length translations less confident, making it easier for the empty translation to finally outscore them. Second, NMT systems use the same, high-frequency EoS word to end all target sentences, regardless of length. This creates an implicit smoothing that increases zero-length translations. Using different EoS types in target sentences of different lengths exposes and eliminates this implicit smoothing.

연구 동기 및 목표

• 훈련 데이터에 이러한 예가 전혀 없음에도 불구하고 NMT 시스템이 빈 번역에 높은 확률을 할당하는 이유를 조사하는 것.
• 레이블 스무딩이 정확한 길이 번역에 대한 신뢰도를 낮추는 데 기여하는 방식을 분석하는 것.
• 모든 문장 길이에 동일한 EoS 토큰을 사용함으로써 길이가 0인 출력에 대한 상대적 확률이 증가하는 메커니즘을 분석하는 것.
• 다른 목표 길이에 대해 별개의 EoS 토큰을 사용하는 것이 이러한 편향을 제거하고 번역 길이 정확도를 향상시킬 수 있는지 평가하는 것.

제안 방법

• 저자들은 NMT 모델에서 P(y|x)의 확률 분포를 분석하며, 디코딩 과정에서 EoS 토큰이 수행하는 역할에 초점을 맞춘다.
• 각 목표 문장 길이 l이 고유한 [EOS-l] 토큰으로 끝나는 다중EoS(MultiEoS) 설정을 도입한다. 이는 일반적인 [EOS] 토큰을 대체한다.
• 레이블 스무딩 유무에 따라 모델을 훈련하고, 다양한 언어 쌍에서 첫 번째 디코딩 단계에서 [EoS]의 로그 확률을 비교한다.
• 목표 길이 분포 Q(l|m)의 퍼즐리티를 계산하여 길이 예측의 불확실성을 정량화한다.
• 빔 서치를 사용하여 빔 크기 512로 테스트 세트를 디코딩하고, 빈 번역 비율과 길이 비율을 측정한다.
• 단일EoS(기본) 및 다중EoS 설정을 비교함으로써, 레이블 스무딩 외에 암묵적 스무딩의 영향을 분리하여 분석한다.

실험 결과

연구 질문

• RQ1 훈련 데이터에 이러한 예가 전혀 없음에도 불구하고 NMT 시스템이 왜 빈 번역에 높은 확률을 할당하는가?
• RQ2 레이블 스무딩은 왜 짧거나 빈 번역을 선호하게 하는가?
• RQ3 모든 문장 길이에 동일한 EoS 토큰을 사용하는 것이 길이가 0인 출력의 상대적 확률을 증가시키는 데 어떤 역할을 하는가?
• RQ4 다른 목표 길이에 대해 서로 다른 EoS 토큰을 사용하면 암묵적 스무딩 효과를 제거하고 빈 번역 비율을 감소시킬 수 있는가?

주요 결과

• 레이블 스무딩은 각 토큰당 약 5%의 정확한 길이 번역에 대한 신뢰도를 감소시켜 누적 효과로 인해 빈 번역이 더 확률 높아지게 한다.
• 단일 EoS 스무딩 효과는 목표 길이 분포 Q(l|m)의 불확실성이 높을수록, 특히 알려지지 않은 길이에 확률 질량이 분포되는 방식으로 길이가 0인 번역의 확률을 증가시킨다.
• MultiEoS 설정에서는 첫 번째 위치에서 [EoS]의 로그 확률이 모든 단어 중 최소 수준으로 떨어지며, 더 이상 생성 후보로 선호되지 않음을 나타낸다.
• MultiEoS를 적용한 결과, 빈 번역 비율은 EN→DE에서 52.5%에서 2.5%로, DE→EN에서는 52.0%에서 2.0%로 감소하였고, 길이 비율은 각각 0.26과 0.31에서 0.74와 0.86으로 향상되었다.
• Q(l|m)의 퍼즐리티는 빈 번역 비율과 상관관계가 있다: 높은 퍼즐리티(더 큰 불확실성)는 더 높은 빈 번역 비율을 초래하며, 이는 MultiEoS에 의해 완화된다.
• MultiEoS 접근법은 추가적인 길이 정규화 없이도 빈 출력 선호를 제거한다. 이는 문제의 근본 원인이 훈련 목표가 아니라 아키텍처 설계에 있음을 보여준다.