[논문 리뷰] Neural Phrase-based Machine Translation

Po-Sen Huang, Chong Wang외 2명|arXiv (Cornell University)|2017. 06. 17.

Natural Language Processing Techniques참고 문헌 10인용 수 24

한 줄 요약

이 논문은 신경 기계 번역에서 구조를 명시적으로 모델링하기 위해 수면-각성 네트워크(SWAN)를 사용하는 신경 문구 기반 기계 번역(NPMT)을 제안한다. 이는 SWAN의 단조성 정렬 제약 조건을 완화하기 위해 소프트 국소 재정렬 레이어를 도입하여 더 유연한 입력 시퀀스 처리를 가능하게 한다. NPMT는 주의 메커니즘을 사용하지 않고도 IWSLT 2014 독일-영어 번역 작업에서 최고 성능을 달성하며, 의미 있는 문구 수준의 출력을 생성한다.

ABSTRACT

In this paper, we propose Neural Phrase-based Machine Translation (NPMT). Our method explicitly models the phrase structures in output sequences through Sleep-WAke Networks (SWAN), a recently proposed segmentationbased sequence modeling method. To alleviate the monotonic alignment requirement of SWAN, we introduce a new layer to perform (soft) local reordering of input sequences. Our experiments show that NPMT achieves state-of-the-art results on IWSLT 2014 German-English translation task without using any attention mechanisms. We also observe that our method produces meaningful phrases in the output language.

연구 동기 및 목표

• 출력 시퀀스에서 문구 구조를 명시적으로 모델링하여 신경 기계 번역을 향상시키기.
• 시퀀스 모델링을 위한 수면-각성 네트워크(SWAN)의 단조성 정렬 제약 조건을 해결하기.
• 의미적으로 유의미한 문구를 생성하는 문구 기반 신경 번역 시스템을 개발하기.
• 주의 메커니즘에 의존하지 않고도 경쟁 가능한 번역 성능을 달성하기.

제안 방법

• NPMT는 문구 수준의 구조를 번역 출력에서 포착하기 위해 분할 기반 시퀀스 모델링 방법인 수면-각성 네트워크(SWAN)를 사용한다.
• SWAN의 엄격한 단조성 정렬 제약 조건을 완화하기 위해 새로운 소프트 국소 재정렬 레이어를 도입하여 더 유연한 입력 시퀀스 처리를 가능하게 한다.
• 모델은 디코딩 과정에 직접적으로 문구 인식 모델링을 통합하여 다단어 표현의 구조적 생성을 가능하게 한다.
• 외부 주의 모듈 없이 표준 순차-순차 목표 함수를 사용하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 분할 기반 시퀀스 모델링을 사용하여 신경 기계 번역에서 문구 구조를 효과적으로 모델링할 수 있는가?
• RQ2 SWAN의 단조성 정렬 제약 조건을 완화하면 번역 성능이 향상되는가?
• RQ3 주의 메커니즘을 사용하지 않는 문구 기반 신경 번역 시스템이 강력한 성능을 달성할 수 있는가?
• RQ4 생성된 출력이 의미적으로 유의미한 문구를 포함하는가?

주요 결과

• NPMT는 주의 메커니즘을 전혀 사용하지 않고도 IWSLT 2014 독일-영어 번역 벤치마크에서 최고 성능을 달성한다.
• 모델은 의미적으로 유의미하고 일관성 있는 문구를 출력으로 생성하여 효과적인 문구 수준 학습을 나타낸다.
• 소프트 국소 재정렬 레이어는 SWAN의 단조성 정렬의 강성 문제를 성공적으로 완화하여 모델링의 유연성을 향상시켰다.
• SWAN를 통한 문구 기반 모델링의 통합은 더 구조적이고 해석 가능한 번역 출력을 이끌어냈다.