[논문 리뷰] Bag-of-Words as Target for Neural Machine Translation

Shuming Ma, Xu Sun외 2명|arXiv (Cornell University)|2018. 05. 13.

Natural Language Processing Techniques참고 문헌 33인용 수 9

한 줄 요약

이 논문은 신경 기계 번역(NMT)을 위한 새로운 학습 목표를 제안하며, 기준 번역문과 그에 해당하는 단어 집합(bag-of-words) 표현을 동시에 최적화한다. 단어 집합을 보조 목표로 삼음으로써, 훈련 데이터에 존재하지 않는 다양한 정확한 번역을 생성하도록 모델을 유도하며, 중국어-영어 데이터셋에서 강력한 기준 모델 대비 4.55 BLEU 포인트 향상된 성능을 달성한다.

ABSTRACT

A sentence can be translated into more than one correct sentences. However, most of the existing neural machine translation models only use one of the correct translations as the targets, and the other correct sentences are punished as the incorrect sentences in the training stage. Since most of the correct translations for one sentence share the similar bag-of-words, it is possible to distinguish the correct translations from the incorrect ones by the bag-of-words. In this paper, we propose an approach that uses both the sentences and the bag-of-words as targets in the training stage, in order to encourage the model to generate the potentially correct sentences that are not appeared in the training set. We evaluate our model on a Chinese-English translation dataset, and experiments show our model outperforms the strong baselines by the BLEU score of 4.55.

연구 동기 및 목표

• 각 문장당 하나의 기준 번역문만을 사용함으로써, 표준 NMT 모델이 아직 보지 못한 정확한 번역을 처벌하는 한계를 해결하기 위해.
• 다수의 정확한 번역문 간에 공유되는 단어 내용을 활용하여 신경 기계 번역의 데이터 희소성 문제를 완화하기 위해.
• 기준 번역의 단어 집합과 일치하는 다양한 의미적으로 타당한 번역문을 생성하도록 유도함으로써 모델의 일반화 능력을 향상시키기 위해.
• 표준 크로스 엔트로피 손실을 초월하여, 학습 중에 단어 집합을 소프트 감독 신호로 사용함으로써 번역 품질을 향상시키기 위해.

제안 방법

• 모델은 인코더-디코더 아키텍처를 갖춘 시퀀스-투-시퀀스 아키텍처를 사용하며, 인코더는 양방향 LSTM이고 디코더는 어텐션 메커니즘을 갖춘 단방향 LSTM이다.
• 단어 집합은 다중 레이블 분류 문제로 간주되며, 디코더의 모든 위치에서의 단어 점수 합을 기반으로 번역문에 포함될 단어 여부를 예측한다.
• 문장 수준의 단어 점수는 각 타임스텝에서의 디코더 출력 분포에서 요약되며, 기준 단어 집합에 속하는 단어들이 포함되어야 하는지 예측하기 위해 시그모이드 분류기가 적용된다.
• 최종 손실는 타겟 시퀀스에 대한 표준 크로스 엔트로피 손실과 단어 집합 예측에 대한 이진 크로스 엔트로피 손실을 조합하여, 동시 최적화를 가능하게 한다.
• 어텐션 메커니즘은 소프트 어텐션 메커니즘을 사용하여 디코더의 은닉 상태와 인코더 표현을 정렬함으로써 컨텍스트 벡터를 계산한다.
• 모델은 두 목표를 동시에 학습하여, 인코더, 디코더, 단어 존재 예측 헤드가 함께 업데이트될 수 있도록 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 단어 집합을 보조 학습 목표로 포함시킴으로써, 신경 기계 번역 출력의 다양성과 정확도를 향상시킬 수 있는가?
• RQ2 기준 번역문과 그에 해당하는 단어 집합 표현을 동시에 최적화함으로써, 표준 NMT 대비 BLEU 점수에 어떤 영향을 미치는가?
• RQ3 모델이 훈련 세트에 포함되지 않은 고급도의 정확한 번역문을 얼마나 잘 생성할 수 있는가?
• RQ4 단어 집합을 감독 신호로 사용함으로써, 의미적으로 타당하지만 문법적으로 다른 번역문에 대한 처벌을 줄일 수 있는가?
• RQ5 기존의 단어 집합을 잠재 변수나 보조 손실로 사용하는 방법과 비교했을 때, 제안된 방법은 어떤가?

주요 결과

• 제안된 모델은 NIST 중국어-영어 번역 데이터셋에서 강력한 기준 모델 대비 4.55 BLEU 포인트 향상된 성능을 달성한다.
• 기준 단어 집합의 핵심 단어 커버리지가 기준 모델보다 향상된 더 정보량이 많고 정확한 번역문을 생성한다.
• 정성적 예시에서 볼 수 있듯이, 제안된 모델의 번역문은 핵심 내용을 생략하거나 불필요하거나 알 수 없는 토큰을 포함할 가능성이 낮다.
• 기준 번역의 단어 집합 표현과 일치함으로써, 아직 보지 못한 정확한 번역문에 대한 처벌을 성공적으로 줄였다.
• 기존의 단어 집합을 잠재 변수나 보조 제약 조건으로 사용하는 방법보다 성능이 뛰어나며, 이는 디코더 출력 분포를 직접적으로 감독하기 때문이다.