[논문 리뷰] Multi-Task Neural Models for Translating Between Styles Within and Across Languages

Xing Niu, Sudha Rao외 1명|arXiv (Cornell University)|2018. 06. 12.

Natural Language Processing Techniques참고 문헌 36인용 수 52

한 줄 요약

이 논문은 양방향 모노링구얼 형식화 전이와 프랑스어-영어 형식-민감한 번역을 수행하는 통합 다중 작업 신경 MT 모델을 제안하며, 스타일 주석 번역 데이터 없이도 형식 전이의 최첨단 결과와 형식-민감 MT의 경쟁력 있는 결과를 달성한다.

ABSTRACT

Generating natural language requires conveying content in an appropriate style. We explore two related tasks on generating text of varying formality: monolingual formality transfer and formality-sensitive machine translation. We propose to solve these tasks jointly using multi-task learning, and show that our models achieve state-of-the-art performance for formality transfer and are able to perform formality-sensitive translation without being explicitly trained on style-annotated translation examples.

연구 동기 및 목표

• 텍스트 생성에서 서筋적 차원으로서의 형식을 모티브로 삼아 다루는 것을 목표로 한다.
• 영어에서 양방향 형식 전이(train-기능) 가능한 단일 신경 MT 모델을 개발한다.
• 사이드 제약을 이용한 프랑스어-영어 번역에서 형식-제어 번역(FSMT)을 가능하게 한다.
• 단일-또는 다중 작업 학습이 단일 언어 스타일-병렬 데이터와 양언 데이터 모두를 활용해 FT와 FSMT를 개선한다는 것을 보여준다.
• 자동 BLEU와 인간 평가로 형식 제어, 유창성, 의미 보존을 평가한다.

제안 방법

• 공유 인코더/디코더를 갖춘 어텐션 기반 시퀀스-투-시퀀스 NMT 구조를 사용한다.
• 소스 문장에 목표 형식 태그(<F> 또는 <I>)를 앞에 붙여 두 방향의 영어 형식 전이를 수행한다.
• 형식성에 의한 차이를 근사하기 위해 교차 엔트로피 차(CED)로 선택된 형식-타깃 스타일로 이중 언어 데이터(프랑스어-영어)를 태깅하여 형식-감지형 FSMT를 수행한다.
• FT와 FSMT를 함께 학습시키는 다중 작업 학습 설정으로 여러 구성(MultiTask-tag-style, MultiTask-style, MultiTask-random)을 사용한다.
• 정규화, 토크나이즈, true-casing, 공동 BPE(32k), 묶임 임베딩 등을 포함한 전처리; Sockeye 기반 어텐셔널 인코더-디코더, LSTM 인코더(512), 어텐션(512), 드롭아웃, Adam 최적화, 앙상블 디코딩 등의 모델 세부 정보가 포함된다.

실험 결과

연구 질문

• RQ1 하나의 모델로도 양방향 형식 전이를 효과적으로 수행할 수 있는가?
• RQ2 모노링구얼 FT 데이터와 양언 FSMT 데이터를 어떻게 결합하면 성능을 극대화할 수 있는가?
• RQ3 양언 데이터와 태깅 전략은 공동 FT 및 FSMT 학습에 어떤 이점을 제공하는가?
• RQ4 다중 작업 학습을 통해 명시적 스타일 주석 번역 데이터 없이 FSMT를 학습할 수 있는가?

주요 결과

• 다중 작업 학습을 통한 양방향 형식 전이가 FT에서 최첨단 BLEU 점수(전환 방향의 두 방향에서 72.13 및 75.37, 증강 및 앙상블 포함)를 달성하였다.
• FSMT에서 다중 작업 학습을 가진 신경 모델은 경쟁력 있는 성능을 보이고 일부 기준선보다 형식 제어가 우수하며, 예를 들어 MultiTask-random는 FR→Formal-EN 및 FR→Informal-EN에서 각각 25.24 및 25.14 BLEU를 달성하고, 인간 평가에서 여러 비신경 기초선보다 낫다.
• 인간 평가에서 MultiTask-tag-style은 formal→informal로의 전이에서 훨씬 더 비공식적 출력이 나오는 경향을 보이고, informal→formal로의 전이에서도 다소 더 형식적이며 의미 보존은 강력한 기준선과 유사하게 유지된다.
• 공통 모델은 명시적 스타일 주석 번역 데이터 없이 FSMT를 학습할 수 있으며, 다중 작업 학습은 이전의 단일 작업 접근법을 넘어 FT를 향상시킨다.
• 양언 데이터의 규모와 데이터 선택(CED 기반 태깅)이 FT에 긍정적 영향을 주며, 이익이 증가하다가 한계점에 이르면 증가가 정체되지만 번역 품질은 더 많은 데이터에 따라 계속 향상된다.