[논문 리뷰] Tree-to-Sequence Attentional Neural Machine Translation

Akiko Eriguchi, Kazuma Hashimoto외 1명|arXiv (Cornell University)|2016. 03. 19.

Natural Language Processing Techniques참고 문헌 27인용 수 41

한 줄 요약

이 논문은 나무-LSTM 인코더를 통해 소스 측 어구 구조를 통합함으로써 순서-순서 NMT를 향상시키는 트리-시퀀스 주의형 신경 기계 번역 모델을 제안한다. 타겟 단어와 소스 단어 및 어구 간의 소프트 정렬을 가능하게 함으로써, 이 모델은 WAT’15 영어-일본어 번역 과제에서 표준 주의형 NMT를 능가하고 최고의 트리-스트링 SMT 시스템과 동등한 성능을 달성한다.

ABSTRACT

Most of the existing Neural Machine Translation (NMT) models focus on the conversion of sequential data and do not directly use syntactic information. We propose a novel end-to-end syntactic NMT model, extending a sequence-to-sequence model with the source-side phrase structure. Our model has an attention mechanism that enables the decoder to generate a translated word while softly aligning it with phrases as well as words of the source sentence. Experimental results on the WAT'15 English-to-Japanese dataset demonstrate that our proposed model considerably outperforms sequence-to-sequence attentional NMT models and compares favorably with the state-of-the-art tree-to-string SMT system.

연구 동기 및 목표

• 영어-일본어와 같이 구조적으로 거리가 먼 언어 쌍을 다룰 때 표준 NMT 모델이 어구 수준의 정렬을 처리하는 데에 한계가 있음을 해결하기 위해.
• 문자어 구조 트리에서 유래한 문법적 구조를 NMT 프레임워크에 통합하여 단어 및 어구 정렬을 향상시키기 위해.
• 표준 주의 메커니즘을 확장하여 개별 소스 단어뿐 아니라 문법 어구에도 소프트 정렬이 가능하도록 하기 위해.
• 나무 기반 인코더를 통해 명시적인 문법적 구조를 통합하면 표준 순차적 인코더보다 번역 품질이 향상되는지 평가하기 위해.
• 어구 인식 주의가 다중 어절 표현에 특히 유리한 정확하고 맥락에 적절한 번역을 이끌어내는지 입증하기 위해.

제안 방법

• 모델은 문법 분석 트리에 기반하여 하향식으로 재귀적으로 소스 문장을 처리하는 나무-LSTM 인코더를 사용하며, 어구와 단어를 함께 인코딩한다.
• 분석 트리의 각 노드는 자식 노드로부터 정보를 집계하는 나무-LSTM 유닛으로 표현되며, 이는 문법 구성요소의 계층적 인코딩을 가능하게 한다.
• 디코더는 타겟의 은닉 상태와 모든 소스 노드(단어 및 어구) 간의 정렬 점수를 계산하는 주의 메커니즘을 사용하며, 개별 단어뿐만 아니라 어구까지 고려한다.
• 주의 가중치는 모든 소스 노드에 대해 계산되며, 디코더가 맥락에 따라 관련 있는 어구 또는 단어에 주의를 기울일 수 있도록 하며, 정렬은 확률 분포로 표현된다.
• 모델은 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되며, 추론 시에는 빔 서치를 사용하여 최종 번역을 생성한다.
• 주의 메커니즘은 현재 디코딩 상태에 따라 명시적인 어구, 예를 들어 명사어구나 동사어구와 같은 구조 단위에 동적으로 집중한다.

실험 결과

연구 질문

• RQ1 NMT 모델에 문법 어구 구조를 통합하면 영어-일본어와 같이 구조적으로 거리가 먼 언어 쌍에서 번역 성능을 향상시킬 수 있는가?
• RQ2 어구 인식 주의 기반 나무 기반 인코더는 표준 단어 수준 주의보다 소스 어구와 타겟 단어 간의 정렬을 더 잘 수행하는가?
• RQ3 심지어 문법적 구조를 사용하는 최고 수준의 통계 기계 번역 시스템과 비교했을 때도 이 모델이 경쟁력 있거나 슈퍼리어한 성능을 낼 수 있는가?
• RQ4 모델은 다중 어절 표현과 영문자 없는 번역(예: 직접 번역되지 않는 冠접사나 전치사)을 어떻게 다루는가?
• RQ5 주의 가중치가 '녹차'에 해당하는 'a cup of green tea'와 같은 의미 있는 문법적 정렬을 얼마나 잘 반영하는가?

주요 결과

• 제안된 트리-시퀀스 NMT 모델은 WAT’15 영어-일본어 번역 데이터셋에서 최고의 RIBES 점수를 기록하여 표준 순서-순서 주의형 NMT 모델을 능가했다.
• 모델은 '녹차'와 같은 어구 번역에서 뛰어난 성능을 보였으며, 'a cup of green tea'를 단일 일본어 어휘 '緑茶'로 정확히 대응시켰다.
• 주의 시각화 결과, 모델이 '액티브 매트릭스용 액정' 어구를 '液晶'와 정렬하는 데 높은 주의 점수를 할당하는 것을 확인할 수 있었다.
• 모델은 기능어와 전치사가 관련 어구와 정렬되도록 학습했으며, 예를 들어 'of'가 'Si dot MOS capacitor'와 정렬되는 것을 보였다.
• 모델은 '액티브'에 해당하는 '활성'과 같은 동의어 기반 번역을 생성했으며, BLEU 점수에는 불리했지만 인간 평가에서는 수용 가능한 것으로 판단되어 의미 정렬의 강건성을 보였다.
• 최고 수준의 트리-스트링 SMT 시스템과 비교했을 때도 경쟁력 있는 성능을 달성하여, 문법적 구조를 통합한 신경 모델의 실현 가능성을 입증했다.