[논문 리뷰] Exploiting Linguistic Resources for Neural Machine Translation Using Multi-task Learning

Jan Niehues, Eunah Cho|arXiv (Cornell University)|2017. 08. 03.

Natural Language Processing Techniques참고 문헌 21인용 수 15

한 줄 요약

이 논문은 종속어 품사(POS) 태그와 명명된 실체를 포함한 언어 자원을 종단 간 신경 기계 번역(NMT) 모델에 통합하기 위해 다중 작업 학습을 제안한다. 공유 인코더-디코더 아키텍처를 사용해 NMT와 POS 태깅, 명명된 실체 인식을 함께 훈련시킴으로써 번역 품질이 최대 1.5 BLEU 포인트 향상되고, 특히 자원이 부족한 조건에서 POS 태깅 성능이 상대적으로 30–50% 향상된다.

ABSTRACT

Linguistic resources such as part-of-speech (POS) tags have been extensively used in statistical machine translation (SMT) frameworks and have yielded better performances. However, usage of such linguistic annotations in neural machine translation (NMT) systems has been left under-explored. In this work, we show that multi-task learning is a successful and a easy approach to introduce an additional knowledge into an end-to-end neural attentional model. By jointly training several natural language processing (NLP) tasks in one system, we are able to leverage common information and improve the performance of the individual task. We analyze the impact of three design decisions in multi-task learning: the tasks used in training, the training schedule, and the degree of parameter sharing across the tasks, which is defined by the network architecture. The experiments are conducted for an German to English translation task. As additional linguistic resources, we exploit POS information and named-entities (NE). Experiments show that the translation quality can be improved by up to 1.5 BLEU points under the low-resource condition. The performance of the POS tagger is also improved using the multi-task learning scheme.

연구 동기 및 목표

• POS 태그와 명명된 실체와 같은 언어 자원이 신경 기계 번역 성능을 향상시킬 수 있는지 조사하기 위해.
• 외부 언어 지식을 종단 간 NMT 모델에 통합하기 위한 방법으로 다중 작업 학습을 탐색하기 위해.
• 작업, 훈련 스케줄, 파라미터 공유와 같은 설계 선택 사항이 번역 및 보조 작업 성능에 미치는 영향을 평가하기 위해.
• 작은 규모이자 도메인 불일치가 있는 언어 자료집이 자원이 부족한 조건에서 여전히 NMT 성능을 향상시킬 수 있는지 확인하기 위해.

제안 방법

• 기계 번역 및 보조 자연어 처리 작업(POS 태깅, 명명된 실체 인식)에 대해 공유 인코더-디코더 아키텍처를 사용하는 어텐션 기반 순서-순서 모델을 사용한다.
• 다른 도메인(예: TED 강연)에서 온 병렬 단일 언어 데이터와 주석이 달린 언어 자료집(POS, 명명된 실체)을 함께 훈련한다.
• 모든 작업의 기울기가 동시에 역전파되는 다중 작업 훈련 스케줄을 사용하며, 손실 가중치를 조정할 수 있다.
• 파라미터 공유의 영향을 평가하기 위해 세 가지 모델 아키텍처를 탐색한다: 전체 파라미터 공유, 공유 인코더만, 별도의 인코더.
• 문장의 맥락적 및 구조적 정보를 캡처하기 위해 단어 임베딩과 양방향 RNN을 인코더에 사용한다.
• 번역을 위해 공유 디코더 헤드를 사용하고, POS 및 명명된 실체 예측을 위해 작업별 출력 헤드를 사용한다.

실험 결과

연구 질문

• RQ1 다중 작업 학습을 통해 POS 및 명명된 실체 태깅을 통합하면 신경 기계 번역 성능이 향상되는가?
• RQ2 보조 작업 선택(POS 태깅, 명명된 실체 인식)이 번역 품질과 모델 일반화 능력에 어떤 영향을 미치는가?
• RQ3 다중 작업 NMT 프레임워크에서 여러 작업 간 성능를 균형 잡기 위한 최적의 훈련 스케줄은 무엇인가?
• RQ4 작업 간 파라미터 공유 정도가 번역 및 보조 작업 성능에 어떤 영향을 미치는가?

주요 결과

• 다중 작업 학습은 독일어-영어 번역 성능을 최대 1.5 BLEU 포인트 및 2 CharacTER 포인트 향상시켰으며, 특히 자원이 부족한 조건에서 유의미했다.
• 제한된 자료와 도메인 불일치가 있는 조건에서도 NMT와 함께 훈련함으로써 POS 태거 성능이 상대적으로 30–50% 향상되었다.
• 훈련 스케줄이 최종 성능에 가장 큰 영향을 미쳤으며, 계획된 커리큘럼 학습이 가장 좋은 결과를 냈다.
• 모델에서 인코더만 공유한 경우 번역 및 POS 태깅 양쪽에서 가장 높은 성능를 기록했으며, 이는 인코더 수준에서의 공유 표현 학습이 가장 효과적임을 시사한다.
• 작고 병렬이 아닌 언어 자료집(예: TED 강연)을 사용해도 POS 및 명명된 실체 통합으로 번역 품질이 크게 향상되었다.
• 모델는 명명된 실체와 희귀어를 더 잘 다루었으며, 누락되거나 잘못 복사된 이름과 같은 번역 오류를 줄였다.