[논문 리뷰] Inducing Grammars with and for Neural Machine Translation

Ke Tran, Yonatan Bisk|arXiv (Cornell University)|2018. 05. 28.

Natural Language Processing Techniques참고 문헌 32인용 수 3

한 줄 요약

이 논문은 외부 문법적 애너테이션에 의존하지 않고 원시 텍스트에서 번역과 동시에 의존성 트리를 유도하는 신경 기계 번역 모델을 제안한다. 구조적 자기주의 인코더와 학습 가능한 게이팅 메커니즘을 통합함으로써, 모델은 번역 품질을 향상시키는 언어별 문법적 구조를 발견한다. 특히 형태적 구조가 풍부한 목표 언어에서 효과가 두드러지며, 표준 언어학적 형식론과 일치하지 않는 작업별 문법적 인덕티브 편향을 드러낸다.

ABSTRACT

Machine translation systems require semantic knowledge and grammatical understanding. Neural machine translation (NMT) systems often assume this information is captured by an attention mechanism and a decoder that ensures fluency. Recent work has shown that incorporating explicit syntax alleviates the burden of modeling both types of knowledge. However, requiring parses is expensive and does not explore the question of what syntax a model needs during translation. To address both of these issues we introduce a model that simultaneously translates while inducing dependency trees. In this way, we leverage the benefits of structure while investigating what syntax NMT must induce to maximize performance. We show that our dependency trees are 1. language pair dependent and 2. improve translation quality.

연구 동기 및 목표

• 사전에 애너테이션된 분석에 의존하지 않고 학습 도중 암묵적으로 문법적 구조를 발견하는 신경 기계 번역 시스템을 개발하는 것.
• 학습 도중 문법적 구조가 어떻게, 언제 사용되는지 분석하기 위해 문법 활성화를 위한 학습 가능한 게이팅 메커니즘을 모델링하는 것.
• 유도된 의존성 트리의 구조를 분석하고, 그것이 언어학적 형식론과 관련이 있는지, 아니면 작업별 문법적 요구에 부합하는지를 판단하는 것.
• 유도된 문법적 구조가 번역 품질을 향상시키는지 평가하고, 그 개선 효과가 언어 쌍에 따라 달라지는지 확인하는 것.
• 목표 언어의 형태적 빈도와 유도된 문법적 구조의 복잡성 간의 관계를 탐색하는 것.

제안 방법

• 양방향 LSTM 인코더의 은닉 상태에 주목함으로써 소스 문장에 대한 소프트이고 비프로젝션 의존성 트리를 생성하는 구조적 자기주의 인코더를 도입한다.
• 다른 변수 게이팅 메커니즘을 사용하여 번역 도중 언제, 얼마나 많은 문법적 구조가 사용되는지 제어함으로써, 문법적 주의의 동적 케이스/오프 스위칭을 가능하게 한다.
• 번역 품질(BLEU)과 의존성 트리 정확도(DA/UA 점수)를 동시에 최적화하는 통합 목표 함수를 사용하여 주의 메커니즘을 엔드 투 엔드로 학습한다.
• 이산적 의존성 결정을 통해 역전파를 수행하기 위해 미분 가능한 리라크스(예: Gumbel-Softmax 또는 REINFORCE)를 사용하여, 유도된 트리 구조의 기울기 기반 학습을 가능하게 한다.
• 디코더는 유도된 소스 측 문법적 구조를 바탕으로 목표 측 생성을 안내하며, 특히 주어-동사 일치와 같은 장거리 의존성에서 효과를 발휘한다.
• PyTorch 기반 OpenNMT 구현을 사용하여 표준 WMT 벤치마크에서 학습하며, 하드 및 소프트 주의, 공유 및 별도의 파라미터를 대비한 추론 실험을 실시한다.

실험 결과

연구 질문

• RQ1 NMT 학습 도중 의존성 트리를 유도하면 번역 성능이 향상되는가? 만약 그렇다면, 얼마나 향상되는가?
• RQ2 목표 언어의 선택이 유도된 문법적 구조의 품질과 복잡성에 어떤 영향을 미치는가?
• RQ3 유도된 의존성 트리가 Universal Dependencies와 같은 표준 언어학적 형식론과 어느 정도 일치하는가?
• RQ4 어떤 번역 맥락에서 모델이 문법적 구조를 활성화하는가? 그리고 어떤 언어학적 현상(예: 일치, 장거리 의존성)을 우선시하는가?
• RQ5 외부 문법적 애너테이션에 접근할 수 없을 때 모델이 의미 있는 문법적 구조를 학습할 수 있는가? 그리고 그러한 시스템의 인덕티브 편향은 무엇인가?

주요 결과

• 제안된 모델은 표준 WMT 벤치마크에서 강력한 베이스라인 대비 뚜렷한 BLEU 점수 향상을 기록하며, 특히 러시아어나 아랍어처럼 형태적 구조가 풍부한 목표 언어에서 성능 향상이 두드러진다.
• 유도된 의존성 트리의 품질은 목표 언어에 크게 의존하며, 형태적 구조가 풍부한 언어로 번역할 경우 더 높은 유도된 연결(DA) 및 비유도된 연결(UA) 점수를 기록한다.
• SA-NMT-hard 모델은 EN→DE, DE→EN, RU→AR에서 최고의 유도된 연결 점수를 기록하지만, 다른 변종보다 BLEU 점수가 낮아, 문법 정확도와 번역 성능 사이에 괴리가 있음을 시사한다.
• 유도된 문법적 구조는 Universal Dependencies와 다름: 머리어절은 전통적인 문법 규범보다 번역 유용성에 따라 선택되며, 주어-동사 연결은 종종 의존성 계층보다 술어-논항 구조를 반영한다.
• 모델의 게이팅 메커니즘은 문법이 선택적으로 활성화됨을 드러내며, 특히 일치 민감한 구성에서 주로 사용됨을 시사한다. 이는 문법적 구조가 균일하게가 아니라 전략적으로 사용된다는 것을 의미한다.
• 유도된 트리는 구성구조와 의존성 구조의 경계가 흐릿한 경향을 보이며, BiLSTM의 은닉 상태가 국소적 어구를 캡처하고, 모델이 종종 개별 어절이 아닌 어구를 단위로 취급함을 반영한다.