[논문 리뷰] Zero-Shot Cross-lingual Classification Using Multilingual Neural Machine Translation

Akiko Eriguchi, Melvin Johnson외 3명|arXiv (Cornell University)|2018. 09. 12.

Topic Modeling참고 문헌 45인용 수 78

한 줄 요약

논문은 다국어 NMT 인코더를 재사용하여 Cross-lingual 전송을 위한 Encoder-Classifier를 형성하고, 프랑스어 제로샷 분류를 강하게 달성하며 Amazon Reviews, SST, SNLI에서 영어 작업에서도 경쟁력 있는 성과를 보인다.

ABSTRACT

Transferring representations from large supervised tasks to downstream tasks has shown promising results in AI fields such as Computer Vision and Natural Language Processing (NLP). In parallel, the recent progress in Machine Translation (MT) has enabled one to train multilingual Neural MT (NMT) systems that can translate between multiple languages and are also capable of performing zero-shot translation. However, little attention has been paid to leveraging representations learned by a multilingual NMT system to enable zero-shot multilinguality in other NLP tasks. In this paper, we demonstrate a simple framework, a multilingual Encoder-Classifier, for cross-lingual transfer learning by reusing the encoder from a multilingual NMT system and stitching it with a task-specific classifier component. Our proposed model achieves significant improvements in the English setup on three benchmark tasks - Amazon Reviews, SST and SNLI. Further, our system can perform classification in a new language for which no classification data was seen during training, showing that zero-shot classification is possible and remarkably competitive. In order to understand the underlying factors contributing to this finding, we conducted a series of analyses on the effect of the shared vocabulary, the training data type for NMT, classifier complexity, encoder representation power, and model generalization on zero-shot performance. Our results provide strong evidence that the representations learned from multilingual NMT systems are widely applicable across languages and tasks.

연구 동기 및 목표

• 다국어 NMT 인코더를 재사용하면 하류 NLP 태스크 성능이 향상됨을 입증한다.
• 이 접근법이 특정 작업 데이터가 없는 언어에서 제로샷 분류를 가능하게 함을 보여준다.
• 제로샷 성능에 영향을 주는 요인들(공유 어휘, 데이터 유형, 인코더 깊이, 분류기 용량, 학습 역학)을 분석한다.

제안 방법

• En-Fr 번역을 통해 공용 다국어 NMT 인코더를 학습하고 언어별 디코더를 두며, 그 인코더를 사전 학습된 구성요소로 사용한다.
• 사전 풀링, 풀링, 포스트 풀링 네트워크를 갖춘 태스크-특화 분류기를 연결하여 예측을 위한 고정 길이 표현을 생성한다.
• 다국어 인코더로부터의 전이 이득을 측정하기 위해 영어 태스크(Amazon Reviews, SST)와 SNLI를 평가한다.
• 인코더를 고정(freezing)하는 것과 미세 조정(fine-tuning)하는 것을 비교하여 성능에 미치는 영향을 평가한다.
• 전제와 가설에 대해 다중 소스 인코딩으로 SNLI에 설정을 확장한다.
• 제로샷 설정에서 최첨단 베이스라인과 다국어 임베딩 방법과 비교한다.

실험 결과

연구 질문

• RQ1 다국어 NMT 인코더가 다운스트림 NLP 태스크에 전이 가능하고 언어에 구애받지 않는 표현을 제공할 수 있는가?
• RQ2 임의 초기화된 인코더에 비해 인코더를 재사용하면 영어 태스크의 성능이 향상되는가?
• RQ3 새로운 언어(예: 프랑스어)에서 작업 특화 프랑스어 학습 데이터 없이 제로샷 분류가 가능한가, 그리고 중개(bridged) 설정에 얼마나 근접할 수 있는가?
• RQ4 제로샷 성능에 가장 크게 영향을 미치는 요인들(어휘 공유, 다국어 학습 데이터, 인코더 깊이, 분류기 용량, 학습 역학)은 무엇인가?

주요 결과

모델	Amazon (En)	Amazon (Fr)	SST (En)	SNLI (En)
Baseline Encoder-Classifier	76.60	82.50	79.63	76.70
+ Pre-trained Encoder	80.70	83.18	84.18	84.42
+ Freeze Encoder	84.13	85.65	84.51	84.41
State-of-the-art Models	83.50	87.50	90.30	88.10

• 다국어 NMT 인코더를 재사용하면 임의로 초기화된 인코더에 비해 Amazon(En/Fr), SST, SNLI에서 상당한 이득을 얻는다.
• 사전 학습된 인코더를 사용하면 기반 인코더-분류기 대비 Amazon(En/Fr), SST, SNLI의 정확도가 향상된다.
• 초기화 후 인코더를 고정하면 특히 Amazon Reviews와 같은 긴 문서 태스크에서 성능이 더 향상된다.
• 제로샷 프랑스어 분류에서 사전 학습된 인코더가 제로샷 정확도를 크게 향상시켜 중개 성능에 근접한다(여러 태스크에서 몇 점 이내).
• SNLI(Fr)에서 최고의 제로샷 접근법은 여러 다국어 임베딩 베이스라인보다 상당한 차이로 우수하다(예: 73.88% vs 더 낮은 베이스라인).
• 분석에 따르면 공유된 서브워드 어휘가 일반화에 도움을 주지만 강한 제로샷 성능을 실현하려면 다국어 학습 데이터가 필요하며, 인코더 깊이와 모델 용량이 interlingua 표현 학습에 결정적이다.