[논문 리뷰] On Compositionality in Neural Machine Translation

Vikas Raunak, Vaibhav Kumar외 1명|arXiv (Cornell University)|2019. 11. 04.

Natural Language Processing Techniques참고 문헌 15인용 수 15

한 줄 요약

이 논문은 신경 기계 번역(NMT)에서 구성성의 핵심 장애물로 부적절한 인코더 표현을 규명하고, 입력 단어 존재 여부를 더 잘 포착하도록 돕기 위해 간단한 단어 조합(pre-training) 방법을 제안한다. 이 방법은 인코더가 입력 문장의 단어 존재 여부를 더 잘 포착하도록 유도함으로써 성능을 향상시켜, 체계성 작업에서 BLEU 점수를 16.39점 향상시키고 생산성 작업에서 1.9 BLEU 점수를 향상시킨다.

ABSTRACT

We investigate two specific manifestations of compositionality in Neural Machine Translation (NMT) : (1) Productivity - the ability of the model to extend its predictions beyond the observed length in training data and (2) Systematicity - the ability of the model to systematically recombine known parts and rules. We evaluate a standard Sequence to Sequence model on tests designed to assess these two properties in NMT. We quantitatively demonstrate that inadequate temporal processing, in the form of poor encoder representations is a bottleneck for both Productivity and Systematicity. We propose a simple pre-training mechanism which alleviates model performance on the two properties and leads to a significant improvement in BLEU scores.

연구 동기 및 목표

• 표준 순서-순서 모델이 신경 기계 번역에서 진정으로 구성성을 보이는지 조사하기 위해.
• 구성성 작업에서의 낮은 성능이 인코더 표현의 부적절한 시간 처리에 기인한다는 진단을 위해.
• 인코더 표현을 강화하여 체계적 일반화와 생산성을 향상시키는 사전학습 기법을 제안하기 위해.
• 향상된 표현이 NMT에서 BLEU 점수와 구성성 일반화에 미치는 영향을 평가하기 위해.

제안 방법

• 인코더를 문장의 단어 조합 표현을 예측하도록 사전학습시키며, 어휘에 대해 시그모이드 출력층을 사용한다.
• 예측된 단어 존재 벡터와 진짜 단어 존재 벡터 간의 차이를 최소화하기 위해 교차 엔트로피 손실 함수를 사용한다.
• 각 단어의 존재 여부를 입력 시퀀스에서 0 또는 1로 레이블링하는 마스킹 목표를 통해 인코더를 훈련한다.
• 기계 번역에서 미세조정하기 전에 사전학습된 인코더 가중치로 전체 Seq2Seq 모델을 초기화한다.
• 두 가지 구성성 작업에서 모델을 평가한다: 연결된 문장 쌍 번역(생산성)과 알려지지 않은 단어가 포함된 문장 번역(체계성).
• 피드포워드 네트워크를 사용해 인코더 표현의 단어 존재 여부 및 부분문자열 탐지 능력을 탐색하여 표현 품질을 검증한다.

실험 결과

연구 질문

• RQ1 표준 Seq2Seq 모델이 번역에서 훈련 길이를 초월해 일반화하는가? 이는 생산성을 시사한다.
• RQ2 알려지지 않은 단어 조합에 직면했을 때, Seq2Seq 모델이 알려진 요소와 규칙을 체계적으로 재결합할 수 있는가?
• RQ3 부적절한 인코더 표현이 NMT에서 구성성 일반화 능력에 얼마나 심각하게 제한을 가하는가?
• RQ4 단어 조합 목표에서 인코더를 사전학습시키는 것이 구성성 일반화와 BLEU 점수 향상에 기여하는가?

주요 결과

• 표준 Seq2Seq 모델은 연결된 문장 쌍에서 BLEU 점수 27.50을 기록했으며, 단일 문장 기준선인 30.19에서 2.69 BLEU 점수 하락을 보여, 생산성에서 열악한 성능을 보인다.
• 긴 시퀀스에서 초기 단어 정보를 유지하지 못함으로써 인코더가 성능이 열악한 것으로 나타났다. 이는 최종 은닉 상태에서 첫 번째 문장의 단어 조합 표현을 재구성하는 데 실패함으로써 입증된다.
• 체계성 작업에서 모델은 'daxy'라는 단어를 올바르게 예측하는 비율이 12.25%에 불과하지만, 사전학습된 인코더를 사용할 경우 50%로 상승한다.
• 단어 조합 사전학습 방법은 생산성 작업에서 BLEU 점수를 24.5에서 26.4로 향상시켰으며, 통계적으로 유의미한 p값 0.011을 기록했다.
• 체계성 작업에서 사전학습된 모델은 베이스라인 대비 BLEU 점수 52.53을 기록했고, 이는 36.14의 베이스라인 점수보다 뚜렷한 향상이다.
• 사전학습된 인코더는 알려지지 않은 단어 탐지에 있어 정밀도와 재현율을 모두 향상시켜, OOV 요소로의 표현 일반화 능력 향상을 시사한다.