[논문 리뷰] Neural Machine Translation for Bilingually Scarce Scenarios: A Deep Multi-task Learning Approach

Poorya Zaremoodi, Gholamreza Haffari|arXiv (Cornell University)|2018. 05. 11.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 공통으로 사용되는 깊이 있는 스택형 인코더-디코더를 공유하는 다중 작업 학습 프레임워크를 제안하여, 영어에서 목표 언어로의 번역과 함께 보조 작업(의미 분석, 구문 분석, 명명된 개체 인식)을 동시에 학습함으로써 이중적으로 자원이 부족한 상황에서 신경 기계 번역(NMT) 성능을 향상시킨다. 파arameter tying과 적대적 훈련을 통해 공유 표현을 유지함으로써 언어학적 지식을 통합함으로써, 영어→프랑스어, 영어→페르시아어, 영어→베트남어 번역에서 번역 품질이 크게 향상되며, 특히 병렬 데이터가 제한된 경우에 두드러진다.

ABSTRACT

Neural machine translation requires large amounts of parallel training text to learn a reasonable-quality translation model. This is particularly inconvenient for language pairs for which enough parallel text is not available. In this paper, we use monolingual linguistic resources in the source side to address this challenging problem based on a multi-task learning approach. More specifically, we scaffold the machine translation task on auxiliary tasks including semantic parsing, syntactic parsing, and named-entity recognition. This effectively injects semantic and/or syntactic knowledge into the translation model, which would otherwise require a large amount of training bitext. We empirically evaluate and show the effectiveness of our multi-task learning approach on three translation tasks: English-to-French, English-to-Farsi, and English-to-Vietnamese.

연구 동기 및 목표

• 제한된 병렬 단일 언어 데이터를 가진 이중적으로 자원이 부족한 언어 쌍에서 낮은 성능을 보이는 신경 기계 번역(NMT) 문제를 해결한다.
• 구성된 단일 언어 언어학적 자원(구문, 의미, 명명된 개체)이 대규모 병렬 비트렉스트가 필요 없이 NMT를 향상시킬 수 있는지 탐색한다.
• 다양한 작업 간에 파rameter를 공유하는 깊이 있는 다중 작업 학습 아키텍처를 개발하여 번역 모델에 구조적이고 의미적인 지식을 통합한다.
• 보조 작업을 인덕티브 바이어스로 활용하여 저자원 환경에서 일반화 능력과 번역 품질을 향상시킨다.
• 다중 작업 프레임워크에서 적대적 훈련을 통해 작업 전용 노이즈가 공유 표현을 오염시키는 것을 방지한다.

제안 방법

• 주 번역 작업과 세 가지 보조 작업(의미 분석, 구문 분석, 명명된 개체 인식) 간에 상단 레이어가 공유되는 깊이 있는 스택형 인코더-디코더 아키텍처를 사용한다.
• 모든 작업을 시퀀스에서 시퀀스(SEQ2SEQ) 변환 문제로 재정의하여 주 NMT 모델과 보조 모델 간의 파라미터 공유를 가능하게 한다.
• 공유된 인코더 및 디코더 구성 요소 간의 파라미터 바인딩을 구현하여 보조 작업에서의 지식 전이를 가능하게 한다.
• 공유 표현 공간에 대해 적대적 훈련을 적용하여 작업 전용 특징이 공통 지식을 오염시키는 것을 최소화한다.
• 양방향 RNN을 인코더로, 단방향 RNN을 디코더로 사용하여 어텐션 기반 인코더-디코더 네트워크를 엔드 투 엔드로 훈련한다.
• 원천 언어와 목표 언어에 대해 별도의 워드 임베딩 테이블을 사용하며, 어텐션 메커니즘을 통해 원천 표현을 목표 생성에 동적으로 정렬한다.

실험 결과

연구 질문

• RQ1 보조 언어학적 작업(구문 분석, 의미 분석, NER)이 저자원, 이중적으로 자원이 부족한 환경에서 신경 기계 번역 품질을 향상시킬 수 있는가?
• RQ2 스택형 인코더와 디코더 간의 깊은 파라미터 공유가 다중 작업 NMT에서 지식 전이와 번역 성능에 어떤 영향을 미치는가?
• RQ3 적대적 훈련이 다중 작업 NMT에서 작업 전용 노이즈로부터 공유 표현을 효과적으로 보호하는가?
• RQ4 원천 측의 단일 언어 언어학적 자원이 병렬 훈련 데이터 부족을 얼마나 효과적으로 보완할 수 있는가?
• RQ5 다양한 언어 쌍에서 기존의 MTL 접근법과 비교해 볼 때, 제안된 방법은 번역 품질과 견고성 측면에서 어떤가?

주요 결과

• 제안된 다중 작업 학습 방법은 영어→프랑스어, 영어→페르시아어, 영어→베트남어 번역 작업에서 병렬 데이터가 제한된 경우에도 BLEU 점수에서 상당한 향상을 이룬다.
• 의미 분석, 구문 분석, 명명된 개체 인식을 보조 작업으로 사용할 경우, 표준 NMT 베이스라인에 비해 더 나은 일반화 능력과 더 높은 품질의 번역을 달성한다.
• 부분적인 파라미터 공유를 갖는 깊이 있는 스택형 인코더와 디코더는 얕은 아키텍처와 완전한 공유보다 우수한 성능을 보이며, 이는 지식 전이에 있어 아키텍처 설계의 중요성을 시사한다.
• 적대적 훈련은 작업 전용 특징에 의한 공유 표현 오염을 효과적으로 줄여 공통 지식의 품질을 유지한다.
• 영어와의 거리가 다양한 언어 쌍에서도 강력한 효과를 보이며, 저자원 환경에서의 견고성을 입증한다.
• 실험 결과는 MTL을 통한 언어학적 지식 통합이 병렬 데이터가 부족한 환경에서 번역 성능을 크게 향상시킨다는 것을 확인한다.