[논문 리뷰] Attention-Informed Mixed-Language Training for Zero-shot Cross-lingual Task-oriented Dialogue Systems

Zihan Liu, Genta Indra Winata외 3명|arXiv (Cornell University)|2019. 11. 21.

Topic Modeling참고 문헌 23인용 수 14

한 줄 요약

이 논문은 사전에 트레이닝된 영어 모델의 어텐션 스코어를 활용해 핵심 단어를 선택하고, 이를 대체어로 번역어로 교체함으로써 코드 스위칭된 트레이닝 문장을 생성하는 Attention-Informed Mixed-Language Training (MLT)을 제안한다. 단지 몇 개의 평행어휘 쌍만으로도 저자원 언어에서 대화 상태 추적 및 자연어 이해 성능을 크게 향상시켜, 기존의 최고 수준의 방법들보다 훨씬 적은 双어자원을 사용한다.

ABSTRACT

Recently, data-driven task-oriented dialogue systems have achieved promising performance in English. However, developing dialogue systems that support low-resource languages remains a long-standing challenge due to the absence of high-quality data. In order to circumvent the expensive and time-consuming data collection, we introduce Attention-Informed Mixed-Language Training (MLT), a novel zero-shot adaptation method for cross-lingual task-oriented dialogue systems. It leverages very few task-related parallel word pairs to generate code-switching sentences for learning the inter-lingual semantics across languages. Instead of manually selecting the word pairs, we propose to extract source words based on the scores computed by the attention layer of a trained English task-related model and then generate word pairs using existing bilingual dictionaries. Furthermore, intensive experiments with different cross-lingual embeddings demonstrate the effectiveness of our approach. Finally, with very few word pairs, our model achieves significant zero-shot adaptation performance improvements in both cross-lingual dialogue state tracking and natural language understanding (i.e., intent detection and slot filling) tasks compared to the current state-of-the-art approaches, which utilize a much larger amount of bilingual data.

연구 동기 및 목표

• 고품질의 트레이닝 데이터가 부족한 저자원 언어를 대상으로 작업 지향 대화 시스템을 개발하는 데 도전하는 것.
• 대규모 평행 코퍼스에 의존하지 않고 제로샷 다국어 전이 성능을 향상시키는 것.
• 어텐션 메커니즘을 활용해 의미적으로 중요한 단어를 식별하고 코드 스위칭을 통해 다국어 일반화 능력을 향상시키는 것.
• 제로샷 적응에서 다양한 다국어 임베딩(MUSE, RCSLS, XLM, Multilingual BERT)의 성능을 평가하는 것.
• 주의 기반 단어 선택이 저자원 환경에서 인간의 애너테이션 또는 온톨로지 기반 어휘 쌍보다 우수한 성능을 내는지 입증하는 것.

제안 방법

• 사전에 트레이닝된 영어 대화 모델의 어텐션 스코어를 활용해 트레이닝 문장 내에서 작업과 관련된 关련 키워드를 식별한다.
• 선택된 영어 단어들은 기존의 이중어사전을 통해 목표 언어 번역어와 쌍을 이루며, 코드 스위칭 문장을 구성한다.
• 이러한 혼합 언어 문장에 대해 모델을 파인튜닝하여 핵심 작업 관련 용어에 대한 다국어 의미 정렬을 학습한다.
• 다국어 임베딩(MUSE, RCSLS, XLM, Multilingual BERT)을 사용해 예상치 못한 언어로의 제로샷 전이를 지원한다.
• 이 방법은 원래 어휘 쌍 목록에 포함되지 않은 어휘, 예를 들어 동의어나 도메인 관련 용어 등 의미적으로 유사한 단어로의 일반화를 가능하게 한다.
• 추론 과정에서 모델은 학습된 어텐션 패턴을 활용해, 명시적으로 트레이닝되지 않은 언어의 등가 또는 유사 단어에 주의를 기울인다.

실험 결과

연구 질문

• RQ1 어텐션 스코어를 통해 선택된 최소한의 평행어휘 쌍이 작업 지향 대화 시스템에서 효과적인 제로샷 다국어 적응을 가능하게 하는가?
• RQ2 주의 기반 단어 선택을 통한 코드 스위칭 트레이닝이 인간 애너테이션 또는 온톨로지 기반 단어 선택보다 제로샷 성능을 향상시키는가?
• RQ3 다양한 다국어 임베딩 방법에서 MLT의 성능은 어떻게 달라지며, 특히 저자원 환경에서 어떻게 변화하는가?
• RQ4 모델이 원래 어휘 쌍 목록에 포함되지 않은 단어, 예를 들어 동의어나 관련 도메인 용어 등으로 얼마나 잘 일반화되는가?
• RQ5 부정확한 다국어 어휘 임베딩이 제로샷 전이에 악영향을 미치는 것을 MLT가 완화할 수 있는가?

주요 결과

• 다섯 개의 평행어휘 쌍만으로도 MLT는 스페인어 데이터에서 의도 탐지 성능에 17.69%p 향상되고 슬롯 채우기 성능에 21.45%p 향상되었다.
• 주의 기반 단어 선택을 사용한 MLT A는 인간 애너테이션 기반 단어 쌍을 사용한 MLT H보다 의도 탐지 성능에서 뛰어난 성능을 보이며, 모델 기반 선택의 우수성을 입증했다.
• 태국어에서는 RCSLS 임베딩을 사용한 MLT가 XLM 및 Multilingual BERT 기반 모델을 능가했으며, 이는 어순이 복잡한 언어에서 서브워드 길이 문제에 대해 모델의 강건성을 보여주었다.
• 모델는 제공된 어휘 쌍 외부의 의미적으로 유사한 단어, 예를 들어 'configurer'와 'establecer'(모두 'set'을 의미함)를 정확히 인식하여 주의를 기울이는 등, 어휘 쌍 외부로도 일반화했다.
• 시각화 결과 MLT 모델의 어텐션 레이어가 원천 언어와 목표 언어의 등가 단어(예: 'Set'과 'Configurar')에 동시에 주의를 기울이고 있음을 확인하여, 효과적인 다국어 의미 정렬이 이루어졌음을 입증했다.
• MLT 기반 모델는 더 적은 양의 이중어자원을 사용하면서도 대화 상태 추적 및 자연어 이해 분야에서 제로샷 성능으로 최고 수준의 성능을 달성했다.