[논문 리뷰] MulZDG: Multilingual Code-Switching Framework for Zero-shot Dialogue Generation

Yongkang Liu, Feng Shi외 2명|arXiv (Cornell University)|2022. 08. 18.

Topic Modeling인용 수 5

한 줄 요약

MulZDG는 영어 단일 언어 데이터에 다국어 혼합 발화 문장을 보강하여 훈련하는 통합 모델을 통해 영어 외 저자원 언어에 대해 zero-shot 대화 생성을 가능하게 하는 다국어 코드 스위칭 프레임워크이다. 이는 저자원 언어에서 경쟁적인 성능을 달성하며, 언어 간 암묵적 의미 정렬을 통해 원천 언어 성능을 향상시켜 인간 평가에서 단일 언어 기반 모델 대비 최대 6% 향상된다.

ABSTRACT

Building dialogue generation systems in a zero-shot scenario remains a huge challenge, since the typical zero-shot approaches in dialogue generation rely heavily on large-scale pre-trained language generation models such as GPT-3 and T5. The research on zero-shot dialogue generation without cumbersome language models is limited due to lacking corresponding parallel dialogue corpora. In this paper, we propose a simple but effective Multilingual learning framework for Zero-shot Dialogue Generation (dubbed as MulZDG) that can effectively transfer knowledge from an English corpus with large-scale training samples to a non-English corpus with zero samples. Besides, MulZDG can be viewed as a multilingual data augmentation method to improve the performance of the resource-rich language. First, we construct multilingual code-switching dialogue datasets via translation utterances randomly selected from monolingual English datasets. Then we employ MulZDG to train a unified multilingual dialogue model based on the code-switching datasets. The MulZDG can conduct implicit semantic alignment between different languages. Experiments on DailyDialog and DSTC7 datasets demonstrate that MulZDG not only achieve competitive performance under zero-shot case compared to training with sufficient examples but also greatly improve the performance of the source language.

연구 동기 및 목표

• 저자원 언어에 훈련 데이터가 부족한 상황에서 zero-shot 대화 생성의 과제를 해결하기 위해.
• 저자원 타겟 언어와 자원이 풍부한 원천 언어 양쪽 모두를 향상시키는 데이터 증강 방법을 개발하기 위해.
• 평행 단일 언어 코퍼스가 필요 없이 언어 간 암묵적 의미 정렬을 가능하게 하기 위해.
• DailyDialog 및 DSTC7를 위한 다국어 혼합 발화 대화 데이터셋을 구축하고 공개하기 위해.
• 다국어 혼합 발화가 대화 생성에서 효과적인 zero-shot 전이 학습 메커니즘으로 기능할 수 있음을 입증하기 위해.

제안 방법

• 영어 단일 언어 데이터셋(DailyDialog, DSTC7)에서 무작위 문장을 번역기(NMT)와 이중어휘사전을 사용해 타겟 언어로 번역하여 다국어 혼합 발화 대화 데이터셋을 구축한다.
• 혼합 발화 데이터를 기반으로 인코더-디코더 아키텍처를 사용해 통합된 다국어 대화 모델을 훈련시켜 언어 간 공동 학습을 가능하게 한다.
• 모델이 언어 간 공유 파라미터를 가지는 다중 작업 학습 구조를 적용하여 공유된 의미 표현을 촉진한다.
• 평행 문장 쌍이 없이도 문장 수준의 코드 스위칭을 통해 원천 언어와 타겟 언어 간 암묵적 의미 정렬을 가능하게 한다.
• 입력 프롬프트에 기반해 다국어 응답 생성 기능을 활용하며, 언어 간 공유된 어텐션과 표현 학습을 통해 언어 간 의미 정렬을 달성한다.
• 학습된 표현을 시각화하고 분석하여 의미적으로 동일한 문장들이 언어 간에 군집화되어 있음을 확인함으로써 효과적인 다국어 의미 정렬을 검증한다.

실험 결과

연구 질문

• RQ1 저자원 언어에 대해 훈련 예제가 전혀 없는 상황에서 고자원 언어(영어)의 지식을 다국어 혼합 발화를 통해 효과적으로 전이할 수 있는가?
• RQ2 혼합 발화 훈련 데이터에 포함된 타겟 언어의 수가 zero-shot 생성 성능에 어떤 영향을 미치는가?
• RQ3 다국어 혼합 발화 프레임워크는 단일 언어 훈련 대비 원천 언어(영어)의 성능을 어느 정도 향상시키는가?
• RQ4 평행 코퍼스가 없이도 모델이 다양한 언어 간 암묵적 의미 정렬을 어떻게 달성하는가?
• RQ5 다국어 표현 학습이 zero-shot 환경에서 응답의 유창성과 관련성에 어떤 영향을 미치는가?

주요 결과

• MulZDG는 단일 언어 기반 모델 대비 인간 평가에서 타겟 언어의 zero-shot 성능을 최대 5% 향상시켜 효과적인 지식 전이를 입증한다.
• 혼합 발화 데이터를 사용할 경우 DailyDialog에서 평균 6.0% 향상되고 DSTC7에서는 3.5% 향상되어 인간 평가 점수가 상승한다.
• 혼합 발화 훈련 데이터에 포함된 언어 수가 증가할수록 타겟 언어의 zero-shot 성능이 향상되며, 이는 확장 가능성의 증거이다.
• 표현 시각화 결과 의미적으로 동일한 문장들이 언어 간에 군집화되어 있음을 확인하여 암묵적 의미 정렬이 성공적으로 이루어졌음을 검증한다.
• 원천 언어(영어) 성능은 Rouge-L 기준 1.57%, 평균 임베딩 기준 0.62% 향상되어 저자원 언어뿐 아니라 고자원 언어에도 이중 이점이 있음을 보여준다.
• 다국어 평가에서 MulZDG는 BLEU-1 기준 0.91%, Rouge-L 기준 1.57%, dist-1 기준 0.44% 향상되어 자동 평가 지표에서 강력한 성과를 기록한다.