[논문 리뷰] Cross-Lingual Transfer Learning for Multilingual Task Oriented Dialog

Sebastian Schuster, Sonal Gupta외 2명|arXiv (Cornell University)|2018. 10. 31.

Topic Modeling참고 문헌 45인용 수 16

한 줄 요약

이 논문은 세 도메인(기상, 알람, 리마인더)에 걸쳐 영어, 스페인어, 태국어로 57,000개의 주석이 달린 발화를 포함하는 새로운 다국어 데이터셋을 소개하며, 의도 및 슬롯 분류를 위한 세 가지 다국어 간 전이 방법을 평가한다: 훈련 데이터 번역, 다국어 정적 임베딩 사용, 그리고 맥락적 단어 표현을 위한 다국어 기계 번역 인코더를 활용하는 새로운 방법. 주요 발견은 저자원 설정에서 다국어 맥락적 표현이 번역된 데이터보다 우수하며, 조그만 양의 대상 언어 데이터조차도 단일 언어 ELMo 모델이 모든 다국어 간 전이 방법보다 뛰어나다는 것이다.

ABSTRACT

One of the first steps in the utterance interpretation pipeline of many task-oriented conversational AI systems is to identify user intents and the corresponding slots. Since data collection for machine learning models for this task is time-consuming, it is desirable to make use of existing data in a high-resource language to train models in low-resource languages. However, development of such models has largely been hindered by the lack of multilingual training data. In this paper, we present a new data set of 57k annotated utterances in English (43k), Spanish (8.6k) and Thai (5k) across the domains weather, alarm, and reminder. We use this data set to evaluate three different cross-lingual transfer methods: (1) translating the training data, (2) using cross-lingual pre-trained embeddings, and (3) a novel method of using a multilingual machine translation encoder as contextual word representations. We find that given several hundred training examples in the the target language, the latter two methods outperform translating the training data. Further, in very low-resource settings, multilingual contextual word representations give better results than using cross-lingual static embeddings. We also compare the cross-lingual methods to using monolingual resources in the form of contextual ELMo representations and find that given just small amounts of target language data, this method outperforms all cross-lingual methods, which highlights the need for more sophisticated cross-lingual methods.

연구 동기 및 목표

• 고자원 언어에서 저자원 언어로의 전이 학습을 가능하게 하여 작업 지향 대화 시스템에서 저자원 언어 개발의 과제를 해결하기 위해.
• 의도 및 슬롯 분류를 위한 공개 가능하고 일관된 주석이 달린 다국어 데이터셋의 부족을 해결하기 위해.
• 데이터 번역, 다국어 임베딩, 그리고 새로운 다국어 시퀀스 인코더를 포함한 여러 다국어 간 전이 전략을 평가하고 비교하기 위해.
• 대상 언어 훈련 데이터의 가용성에 따라 최적의 전이 방법을 결정하기 위해.
• 향후 저자원 다국어 자연어 이해 연구를 지원하기 위해 새로운 다국어 데이터셋을 공개하기 위해.

제안 방법

• 공통 주석 체계를 사용해 세 도메인(기상, 알람, 리마인더)에 걸쳐 영어 43,000개, 스페인어 8,600개, 태국어 5,000개의 발화를 주석 처리함.
• 단일 언어 및 다국어 맥락 표현을 사용해 양방향 LSTM-CRF 모델을 훈련하여 의도 분류와 슬롯 채우기를 동시에 수행함.
• 세 가지 다국어 간 전이 방법을 적용: (1) 영어 훈련 데이터를 대상 언어로 번역, (2) 다국어 정적 단어 임베딩(XLU) 사용, (3) 다국어 신경 기계 번역 인코더를 맥락적 단어 표현으로 활용.
• 대상 언어 데이터에만 훈련된 단일 언어 ELMo 표현과 성능을 비교함.
• 고자원 언어 및 저자원 언어 데이터를 함께 훈련하여 제로샷 및 피어샷 전이 학습 성능을 향상시킴.
• 표준 지표를 사용해 테스트 세트에서 의도 및 슬롯 분류 성능을 평가함.

실험 결과

연구 질문

• RQ1 신경 기계 번역 인코더에서 유도된 다국어 맥락적 단어 표현을 사용할 경우, 데이터 번역에 비해 저자원 언어에서 의도 및 슬롯 분류 성능이 향상되는가?
• RQ2 사용 가능한 대상 언어 훈련 데이터의 양에 따라 다국어 간 전이 방법의 성능은 어떻게 변화하는가?
• RQ3 소량의 대상 언어 데이터만 존재할 경우, 다국어 맥락적 표현이 단일 언어 ELMo 모델보다 뛰어나게 되는가?
• RQ4 피어샷 설정에서 다국어 정적 임베딩과 종단 간 다국어 표현 간의 성능 비교는 어떻게 되는가?
• RQ5 고자원 언어 및 저자원 언어 데이터를 함께 훈련할 경우 모델 일반화에 어떤 영향을 미치는가?

주요 결과

• 대상 언어 데이터가 전혀 없는 제로샷 설정에서는 영어 훈련 데이터를 대상 언어로 번역하는 것이 가장 뛰어난 성능을 보인다.
• 몇백 개의 대상 언어 훈련 예제가 존재할 경우, 다국어 맥락적 표현을 사용한 공동 훈련이 데이터 번역 및 정적 다국어 임베딩보다 성능이 뛰어나다.
• 매우 저자원 설정에서는 다국어 맥락적 표현이 정적 다국어 임베딩보다 유의미하게 뛰어나다.
• 소량의 대상 언어 데이터로 훈련된 단일 언어 ELMo 표현이 모든 다국어 간 전이 방법보다 뛰어나며, 더 정교한 다국어 모델링의 필요성을 강조한다.
• 57,000개의 발화로 구성된 제안된 다국어 데이터셋은 영어, 스페인어, 태국어 간 다국어 간 전이의 체계적 평가를 가능하게 한다.
• 결과적으로 다국어 간 전이가 도움이 되지만, 조그만 양의 대상 언어 데이터가 존재할 경우 단일 언어 미사전 훈련이 여전히 매우 효과적이라는 점을 시사한다.