[논문 리뷰] Beyond Error Propagation in Neural Machine Translation: Characteristics of Language Also Matter

Lijun Wu, Xu Tan외 5명|arXiv (Cornell University)|2018. 09. 01.

Natural Language Processing Techniques참고 문헌 28인용 수 7

한 줄 요약

이 논문은 신경 기계 번역(NMT)에서 후행적으로 생성되는 단어가 더 덜 정확한 정확도 저하 현상의 주요 원인으로 오랫동안 여겨져 온 오류 전파를 도전한다. 대신 언어적 특성—특히 언어의 분지 방향(오른쪽 분지 대비 왼쪽 분지)—이 더 중요한 역할을 한다는 것을 입증한다: 영어와 같은 오른쪽 분지 언어에서는 번역의 왼쪽 부분에서 더 높은 정확도를 보이며, 일본어와 같은 왼쪽 분지 언어에서는 오른쪽 부분에서 더 높은 정확도를 보인다. 이는 번역 방향과 무관하게 성립한다. 이러한 통찰은 트랜스포머와 RNN 모델 전반에서 검증되었으며, 텍스트 요약 작업에서도 적용 가능하다.

ABSTRACT

Neural machine translation usually adopts autoregressive models and suffers from exposure bias as well as the consequent error propagation problem. Many previous works have discussed the relationship between error propagation and the \emph{accuracy drop} (i.e., the left part of the translated sentence is often better than its right part in left-to-right decoding models) problem. In this paper, we conduct a series of analyses to deeply understand this problem and get several interesting findings. (1) The role of error propagation on accuracy drop is overstated in the literature, although it indeed contributes to the accuracy drop problem. (2) Characteristics of a language play a more important role in causing the accuracy drop: the left part of the translation result in a right-branching language (e.g., English) is more likely to be more accurate than its right part, while the right part is more accurate for a left-branching language (e.g., Japanese). Our discoveries are confirmed on different model structures including Transformer and RNN, and in other sequence generation tasks such as text summarization.

연구 동기 및 목표

• 신경 기계 번역(NMT)에서 후행적으로 생성되는 단어가 더 덜 정확한 정확도 저하 현상의 주 원인이 오류 전파인지 조사하기.
• 특히 언어의 분지 방향(오른쪽 분지 대비 왼쪽 분지)과 같은 언어적 특성이 번역 시퀀스 전반에 걸친 정확도 분포에 영향을 미치는지 검토하기.
• 관측된 정확도 저하 패턴이 다양한 모델 아키텍처(예: 트랜스포머, RNN)와 시퀀스 생성 작업(예: 텍스트 요약)에서도 유지되는지 평가하기.
• n-gram 및 의존성 파싱 통계를 활용한 실증적 증거를 제시하여 언어 구조와 정확도 분포 간의 상관관계를 설명하기.

제안 방법

• 다양한 언어 쌍(예: En-De, En-Zh, En-Ja, En-Tr)에서 왼쪽에서 오른쪽, 오른쪽에서 왼쪽으로 번역 모델을 훈련하여 생성된 번역의 왼쪽과 오른쪽 반의 정확도 분포를 비교하기.
• 오류 전파의 영향을 격리하기 위해 추론 중에 티처 포싱을 적용하여 표준 자동회귀적 디코딩과 결과를 비교하기.
• 다양한 언어의 문장 부분에서의 문장 구조 예측 가능성 평가를 위해 n-gram 빈도와 조건부 확률 분석하기.
• 의존성 파싱 분석을 통해 번역 문장의 왼쪽과 오른쪽 세그먼트에서의 문법적 의존성 밀도 측정하기.
• Gigaword 데이터셋을 사용한 RNN 기반 모델을 활용해 요약 생성 작업으로의 일반화 가능성 테스트를 위해 실험 확장하기.
• BLEU 및 ROUGE F1 점수를 사용하여 다양한 디코딩 방향과 모델 유형에서 생성 시퀀스의 왼쪽과 오른쪽 반의 정확도를 정량적으로 비교하기.

실험 결과

연구 질문

• RQ1 신경 기계 번역(NMT)에서 후행적으로 생성되는 단어가 더 덜 정확한 정확도 저하 현상의 주요 원인이 오류 전파인지 여쭤보기?
• RQ2 대상 언어의 분지 방향(오른쪽 분지 대비 왼쪽 분지)이 번역의 왼쪽과 오른쪽 부분에 걸친 정확도 분포에 상당한 영향을 미치는가?
• RQ3 티처 포싱 실험을 통해 오류 전파가 정확도 저하에 얼마나 기여하는가?
• RQ4 n-gram 빈도와 의존성 파싱과 같은 언어 통계가 분지 방향에 따라 문장 부분 간의 구조적 예측 가능성의 변화를 뒷받침하는가?
• RQ5 관측된 정확도 저하 패턴이 요약 생성과 같은 다른 시퀀스 생성 작업으로 일반화되는가?

주요 결과

• 오류 전파만으로는 정확도 저하 현상을 설명할 수 없으며, 티처 포싱은 성능 격차를 줄이지만 왼쪽과 오른쪽 부분 간의 격차를 완전히 제거하지는 않는다.
• 영어, 독일어와 같은 오른쪽 분지 언어에서는 디코딩 방향(왼쪽에서 오른쪽 또는 오른쪽에서 왼쪽)에 관계없이 항상 번역의 왼쪽 부분이 오른쪽 부분보다 더 정확하다.
• 일본어, 터키어와 같은 왼쪽 분지 언어에서는 오른쪽 부분이 왼쪽 부분보다 더 정확하며, 이는 언어 구조에 따라 정확도 패턴이 반전됨을 시사한다.
• n-gram 빈도와 조건부 확률은 오른쪽 분지 언어의 왼쪽 부분과 왼쪽 분지 언어의 오른쪽 부분에서 유의미하게 높게 나타나, 분지 방향에 따라 구조적 예측 가능성의 변화를 뒷받침한다.
• 의존성 파싱 통계는 오른쪽 분지 언어에서는 왼쪽 부분에 더 많은 문법적 의존성이 있으며, 왼쪽 분지 언어에서는 오른쪽 부분에 더 많은 의존성이 있음을 보여, 정확도 분포의 언어학적 기반을 추가로 검증한다.
• 정확도 저하 패턴은 트랜스포머와 RNN 등 다양한 모델 아키텍처와 번역 및 개괄적 요약과 같은 다양한 작업에서 유지되며, 이는 그 안정성과 언어학적 뿌리의 깊이를 확인한다.