[논문 리뷰] Improved Neural Machine Translation with a Syntax-Aware Encoder and Decoder

Huadong Chen, Shujian Huang외 2명|arXiv (Cornell University)|2017. 07. 18.

Natural Language Processing Techniques참고 문헌 15인용 수 33

한 줄 요약

이 논문은 인코더와 디코더 양쪽에 명시적인 소스 측 문법 트리 구조를 통합한 문법 인지 신경 기계 번역 모델을 제안한다. 더 rich한 맥락 표현을 위해 이중 방향 트리 인코더를 도입하고, 어휘 일관성을 이끌어내기 위해 트리 커버리지 어텐션 메커니즘을 적용함으로써, 표준 어텐션 기반 NMT보다 +3.54 BLEU, 그리고 트리-LSTM와 커버리지 기반의 강력한 베이스라인보다 +1.90 BLEU 향상되었으며, 특히 장문 번역에서 뛰어난 성능을 발휘한다.

ABSTRACT

Most neural machine translation (NMT) models are based on the sequential encoder-decoder framework, which makes no use of syntactic information. In this paper, we improve this model by explicitly incorporating source-side syntactic trees. More specifically, we propose (1) a bidirectional tree encoder which learns both sequential and tree structured representations; (2) a tree-coverage model that lets the attention depend on the source-side syntax. Experiments on Chinese-English translation demonstrate that our proposed models outperform the sequential attentional model as well as a stronger baseline with a bottom-up tree encoder and word coverage.

연구 동기 및 목표

• 모든 인코더와 디코더에 소스 측 문법 트리 구조를 명시적으로 통합함으로써 신경 기계 번역 성능을 향상시키는 것.
• 순차적 모델이 장거리 의존성과 어휘 일관성을 포착하지 못하는 한계를 해결하는 것.
• 하향식 및 상향식 트리 인코딩을 조합함으로써 더 rich한 문법 맥락을 제공하는 표현 학습을 향상시키는 것.
• 문법적 구조를 존중하고 중복 번역을 방지하기 위해 디코더 생성을 트리 커버리지 메커니즘으로 이끌어내는 것.
• 문법적 구조가 특히 장문이고 복잡한 문장에서 번역 품질 향상에 기여함을 입증하는 것.

제안 방법

• 각 문법 트리의 노드에 대해 더 rich한 표현을 생성하기 위해 하향식 및 상향식 인코딩을 조합한 이중 방향 트리 인코더를 제안한다.
• 트리-GRU를 사용하여 트리 구조적 표현을 모델링하며, 상향식 인코딩은 루트에서 잎까지 정보를 전파한다.
• 단어 수준이 아닌 문법 하위트리 수준에서 어텐션을 추적할 수 있도록 커버리지 메커니즘을 확장한 트리 커버리지 모델을 도입한다.
• 두 단계 학습 전략을 활용한다: 먼저 하향식 인코더를 사전 학습하고, 이후 무작위 상향식 초기화를 사용해 전체 이중 방향 인코더를 미세 조정한다.
• 어텐션 기반 순서-순서 번역 프레임워크 내에서 문법 인지 인코더와 트리 커버리지 디코더를 통합한다.
• 전처리된 문법 트리(예: 전이 기반 파서에서 생성된 것)를 사용하여 인코딩과 디코딩을 안내한다.

실험 결과

연구 질문

• RQ1 인코더에 명시적인 문법 트리 구조를 통합하면 신경 기계 번역의 표현 학습 성능이 향상되는가?
• RQ2 이중 방향 트리 인코더를 통해 상향식 문법 맥락을 통합하면 단방향 트리 인코더보다 더 나은 번역 성능을 내는가?
• RQ3 디코더에 트리 커버리지 메커니즘을 도입하면 어휘 일관성이 향상되고 중복 번역이 감소하는가?
• RQ4 인코더와 디코더 양쪽에 문법을 통합하면 단일 구성 요소에만 적용했을 때보다 더 큰 성능 향상을 이끌 수 있는가?
• RQ5 문법 인지 기능이 장문의 복잡한 문장에서 번역 성능에 어떤 영향을 미치는가?

주요 결과

• 이중 방향 트리 인코더는 중국어-영어 번역에서 표준 순차적 어텐션 기반 NMT 모델보다 +3.54 BLEU 향상되었다.
• 트리-LSTM와 단어 커버리지 기반의 강력한 베이스라인 대비 +1.90 BLEU 향상되었다.
• 20단어 이상의 문장에서 성능 향상이 가장 두드러졌으며, 50단어가 넘는 문장에서 가장 큰 향상이 관찰되었다.
• 트리 커버리지 모델은 단어 커버리지 모델을 초월해 일관성 있는 어휘 번역을 유지하는 데 항상 유리했으며, 특히 어휘 일관성 유지에 기여했다.
• 두 단계 학습 전략은 무작위 초기화에서의 학습이 더 어려운 이중 방향 트리 인코더의 안정적 학습을 가능하게 했다.
• 이웃 노드 맥락을 포함한 커버리지 모델 확장을 시도했지만 성능 향상이 없었고, 오히려 BLEU 점수는 0.2점 감소했다.