[논문 리뷰] Towards Neural Phrase-based Machine Translation

Po-Sen Huang, Chong Wang외 3명|arXiv (Cornell University)|2017. 06. 17.

Natural Language Processing Techniques인용 수 24

한 줄 요약

이 논문은 시퀀스-투-시퀀스 모델인 신경어휘기반기계번역(NPMT)을 제안한다. 이 모델은 수면-각성 네트워크(SWAN)와 새로운 소프트 국소 재정렬 레이어를 사용하여 대상 언어의 어휘적 구조를 명시적으로 모델링하며, 순차적 정렬 제약 조건을 완화한다. NPMT는 어텐션 메커니즘을 사용하지 않아도 IWSLT 2014 및 IWSLT 2015 번역 과제에서 최고 성능 BLEU 점수를 기록하며, 어휘 수준의 모델링이 번역 품질을 향상시키고 선형 시간 복잡도의 디코딩을 가능하게 함을 입증한다.

ABSTRACT

In this paper, we present Neural Phrase-based Machine Translation (NPMT). Our method explicitly models the phrase structures in output sequences using Sleep-WAke Networks (SWAN), a recently proposed segmentation-based sequence modeling method. To mitigate the monotonic alignment requirement of SWAN, we introduce a new layer to perform (soft) local reordering of input sequences. Different from existing neural machine translation (NMT) approaches, NPMT does not use attention-based decoding mechanisms. Instead, it directly outputs phrases in a sequential order and can decode in linear time. Our experiments show that NPMT achieves superior performances on IWSLT 2014 German-English/English-German and IWSLT 2015 English-Vietnamese machine translation tasks compared with strong NMT baselines. We also observe that our method produces meaningful phrases in output languages.

연구 동기 및 목표

• 어휘기반 기계번역(SMT)의 성공에 영감을 받아, 대상 언어의 어휘적 구조를 명시적으로 모델링하는 신경기계번역 시스템을 개발하는 것.
• 입력 시퀀스에 대한 소프트 국소 재정렬 레이어를 도입하여 SWAN의 단조적 정렬 제약 조건을 완화하는 것.
• 어텐션 메커니즘 없이도 어휘를 순서대로 직접 출력할 수 있는 디코더 없는 아키텍처를 설계하여 선형 시간 추론을 가능하게 하는 것.
• 표준 어텐션 기반 NMT와 비교해 자동으로 발견된 어휘 분할이 번역 성능을 향상시키는지 평가하는 것.
• 어휘 수준의 모델링이 번역 품질을 향상시키고 출력에서 의미 있고 재사용 가능한 어휘를 생성함을 입증하는 것.

제안 방법

• NPMT는 입력 시퀀스를 SWAN에 입력하기 전에 윈도우 크기가 7인 소프트 재정렬 레이어를 사용하여 (소프트) 국소 재정렬을 수행한다.
• 재정렬 레이어는 SWAN에 내재된 단조적 정렬 가정을 완화하여 비단조적 입력-출력 정렬을 허용한다.
• 양방향 LSTM 인코더(은닉 유닛 수 512개)가 재정렬된 입력 표현을 처리한다.
• 출력은 대상 시퀀스의 분할을 모델링하고 어텐션 메커니즘 없이 어휘를 직접 예측하는 SWAN 레이어로 전달된다.
• 모델은 비용 최소화를 위해 그리디 디코딩과 범위 크기 10의 빔 서치를 사용하며, 베트남어 번역 성능 향상을 위해 4차 언어 모델(KenLM)을 통합한다.
• 하이퍼파라미터로는 GPU당 배치 크기 48, 초기 학습률 0.001인 Adam 최적화, 드롭아웃 비율 0.4를 사용한다.

실험 결과

연구 질문

• RQ1 표준 어텐션 기반 모델과 비교해 대상 언어에서 어휘를 명시적으로 모델링하면 신경기계번역 성능이 향상되는가?
• RQ2 소프트 재정렬 레이어를 통해 SWAN의 단조적 정렬 제약 조건을 완화하면 번역 품질 향상과 더 유연한 정렬이 가능해지는가?
• RQ3 어텐션 메커니즘 없이도 어휘기반 디코딩 메커니즘이 경쟁 가능한 BLEU 점수를 달성할 수 있는가?
• RQ4 자동으로 발견된 대상 언어의 어휘가 번역의 유창성과 의미 일관성에 어느 정도 기여하는가?
• RQ5 NPMT는 영어-베트남어와 같이 자원이 적은 언어 쌍을 포함해 다양한 언어 쌍에 일반화 가능한가?

주요 결과

• NPMT는 빔 서치를 사용해 IWSLT 2015 영어-베트남어 tst2013 테스트 세트에서 BLEU 점수 27.69를 기록하며, 어텐션 기반 기준 모델보다 1.59 BLEU 포인트 높은 성능을 보였다.
• 언어 모델을 통합한 NPMT는 BLEU 점수를 28.07로 추가로 향상시켜, 구조적 모델링과 n-gram 언어 모델링의 융합이 효과적임을 입증했다.
• IWSLT 2014 독일어-영어 및 영어-독일어 과제에서 NPMT는 강력한 어텐션 기반 NMT 기준 모델보다 뛰어난 BLEU 점수를 기록했다.
• qualitative 예시를 통해 다어절 단위의 정확한 분할과 번역이 이루어지는 것으로 확인되어, 모델이 의미 있고 일관된 어휘를 출력함을 입증했다.
• NPMT는 어텐션 메커니즘을 피하고 어휘를 순서대로 직접 생성함으로써 선형 시간 복잡도로 디코딩을 수행하여 계산적으로 효율적이다.
• 소프트 재정렬 레이어는 SWAN의 단조적 정렬 제약 조건을 효과적으로 완화하여 비단조적 언어 쌍에서 더 높은 성능을 달성하는 데 기여했다.