[논문 리뷰] Multi-task Sequence to Sequence Learning

Minh-Thang Luong, Quoc V. Le외 3명|arXiv (Cornell University)|2015. 11. 19.

Natural Language Processing Techniques인용 수 66

한 줄 요약

이 논문은 기계 번역, 구성 구문 분석, 이미지 캡션 생성을 향상시키기 위해 다수의 관련 작업을 함께 훈련하는 다중 작업 시퀀스-투-시퀀스 학습 프레임워크를 제안한다. 공유 인코더와 디코더를 사용하여 번역에서 최대 1.5 BLEU 포인트 향상과 구문 분석에서 새로운 최고 성능인 93.0 F1 점수를 달성하였으며, 다중 작업 설정에서 오토에인코더와 스킵-소프트 목표 함수의 상이한 행동 양상을 드러냈다.

ABSTRACT

Sequence to sequence learning has recently emerged as a new paradigm in supervised learning. To date, most of its applications focused on only one task and not much work explored this framework for multiple tasks. This paper examines three multi-task learning (MTL) settings for sequence to sequence models: (a) the oneto-many setting - where the encoder is shared between several tasks such as machine translation and syntactic parsing, (b) the many-to-one setting - useful when only the decoder can be shared, as in the case of translation and image caption generation, and (c) the many-to-many setting - where multiple encoders and decoders are shared, which is the case with unsupervised objectives and translation. Our results show that training on a small amount of parsing and image caption data can improve the translation quality between English and German by up to 1.5 BLEU points over strong single-task baselines on the WMT benchmarks. Furthermore, we have established a new state-of-the-art result in constituent parsing with 93.0 F1. Lastly, we reveal interesting properties of the two unsupervised learning objectives, autoencoder and skip-thought, in the MTL context: autoencoder helps less in terms of perplexities but more on BLEU scores compared to skip-thought.

연구 동기 및 목표

• 기계 번역, 구문 분석, 이미지 캡션 생성과 같은 다양한 자연어 처리 작업에서 시퀀스-투-시퀀스 모델의 다중 작업 학습(MTL)을 탐구하는 것.
• 작은 규모의 보조 작업(예: 구문 분석, 이미지 캡션 생성)이 기계 번역과 같은 대규모 시퀀스-투-시퀀스 작업의 성능을 향상시킬 수 있는지 조사하는 것.
• 비지도 목표 함수인 오토에인코더와 스킵-소프트 벡터가 감독 학습 기반의 시퀀스-투-시퀀스 학습을 향상시키는 데 효과적인지 평가하는 것.
• 특히 내재적(퍼플렉서티) 및 외재적(BLEU) 지표 측면에서 오토에인코더와 스킵-소프트 목표 함수가 다중 작업 설정에서 상이한 행동을 보이는 이유를 이해하는 것.
• 앙상블된 다중 작업 모델을 통해 구성 구문 분석 분야에서 새로운 최고 성능 기록을 수립하는 것.

제안 방법

• 세 가지 MTL 설정을 제안: 일대다(모든 작업에 공유 인코더), 다대일(공유 디코더), 다대다(여러 작업에 대해 공유 인코더와 디코더).
• 모든 작업에 대해 어텐션 메커니즘을 갖춘 시퀀스-투-시퀀스 모델을 사용하며, 기초 RNN 유닛으로 LSTMs를 활용한다.
• 주 작업(번역)과 보조 작업(구문 분석, 오토에인코딩, 스킵-소프트)의 손실을 가중 조합으로 훈련하여 보조 작업을 통합한다.
• 혼합 계수(예: 0.05, 0.1)를 사용하여 주 작업의 손실과 보조 작업의 손실을 균형 잡는다.
• 다양한 혼합 비율에서 훈련된 다중 작업 모델의 앙상블을 적용하여 일반화 능력과 구문 분석 성능 향상을 도모한다.
• 표준 지표를 사용해 모델을 평가한다: 번역에는 BLEU, 구문 분석에는 F1, 비지도 목표 함수에는 퍼플렉서티를 사용한다.

실험 결과

연구 질문

• RQ1 데이터 크기의 격차가 존재함에도 불구하고, 문법적 구문 분석 및 이미지 캡션 생성 데이터를 함께 훈련하면 신경 기계 번역 성능이 향상되는가?
• RQ2 다양한 다중 작업 학습 설정(일대다, 다대일, 다대다)이 시퀀스-투-시퀀스 모델 성능에 어떤 영향을 미치는가?
• RQ3 오토에인코더와 스킵-소프트 벡터와 같은 비지도 목표 함수가 감독 학습 작업과 함께 훈련될 경우 번역 품질을 향상시키는가?
• RQ4 왜 오토에인코더와 스킵-소프트 목표 함수는 다중 작업 학습에서 퍼플렉서티 및 BLEU 점수 측면에서 상이한 행동을 보이는가?
• RQ5 작은 보조 데이터셋을 활용한 다중 작업 학습이 구성 구문 분석 분야에서 최고 성능 기록을 달성할 수 있는가?

주요 결과

• 작은 양의 구문 분석 및 이미지 캡션 데이터를 사용한 훈련이 WMT 벤치마크에서 강력한 단일 작업 기반 기준보다 영어-독일어 번역 성능을 최대 1.5 BLEU 포인트 향상시켰다.
• 여섯 개의 다중 작업 모델 앙상블이 영어 구성 구문 분석에서 새로운 최고 성능인 F1 점수 93.0을 달성하여 이전의 단일 작업 시스템을 초월했다.
• 오토에인코더 목표 함수는 스킵-소프트보다 BLEU 점수 향상에 더 효과적이었지만, 퍼플렉서티는 악화시켜 내재적 성능과 외재적 성능 사이의 상충 관계를 시사했다.
• 스킵-소프트 벡터는 더 많은 훈련 데이터에서 퍼플렉서티를 일관되게 향상시켰지만, 혼합 비율이 증가할수록 BLEU 점수가 떨어져 번역 작업의 목적과의 불일치를 시사했다.
• 오토에인코더를 사용한 다대다 MTL 설정에서 혼합 비율 0.05일 때 BLEU 점수 0.5 포인트 향상이 있었지만, 더 높은 비율에서는 성능이 저하되었다.
• 결과는 비지도 목표 함수가 주 작업과 호환되어야 한다는 것을 시사한다—오토에인코더는 단어 수준의 번역과 유사하므로 호환 가능하지만, 스킵-소프트는 그렇지 않다.