[논문 리뷰] MDIA: A Benchmark for Multilingual Dialogue Generation in 46 Languages

Qingyu Zhang, Xiaoyu Shen외 3명|arXiv (Cornell University)|2022. 08. 27.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 2020년 레딧 대화에서 유래한 19개의 어휘군에 걸쳐 46개의 언어를 포함하는 대규모 다국어 대화 생성 벤치마크인 mDIA를 소개한다. mT5와 DialoGPT 모델을 미세조정하여 평가한 결과, mT5 기반 모델은 더 높은 관련성(sacreBLEU, BertScore)을 보였지만 다양성은 낮았으며, 영어와 자원이 적은 언어 간에 상당한 성능 격차가 존재함을 확인했다. 이는 소수의 예시 및 제로샷 일반화 능력이 유망한 것으로 나타났다.

ABSTRACT

Owing to the lack of corpora for low-resource languages, current works on dialogue generation have mainly focused on English. In this paper, we present mDIA, the first large-scale multilingual benchmark for dialogue generation across low- to high-resource languages. It covers real-life conversations in 46 languages across 19 language families. We present baseline results obtained by fine-tuning the multilingual, non-dialogue-focused pre-trained model mT5 as well as English-centric, dialogue-focused pre-trained chatbot DialoGPT. The results show that mT5-based models perform better on sacreBLEU and BertScore but worse on diversity. Even though promising results are found in few-shot and zero-shot scenarios, there is a large gap between the generation quality in English and other languages. We hope that the release of mDIA could encourage more works on multilingual dialogue generation to promote language diversity.

연구 동기 및 목표

• 특히 자원이 적은 언어에 대해 대규모 통합 벤치마크가 부족한 다국어 개방형 대화 생성 분야의 문제를 해결한다.
• 다양한 언어와 자원 수준 간의 대화 생성 모델을 비교할 수 있는 표준화된 평가 프레임워크를 제공한다.
• 자원이 적은 환경에서 다국어 사전 훈련 및 미세조정 전략의 효과성을 조사한다.
• 고자원 언어(예: 영어)와 저자원 언어 간의 생성 품질 격차를 부각시킨다.
• 어휘군 간의 교차 언어 대화 전이 및 모델 일반화에 대한 연구를 촉진한다.

제안 방법

• 2020년 전체 연도 동안의 레딧 트래픽에서 실제 생활 대화를 수집하여 19개의 어휘군에 걸쳐 46개의 언어를 포함한다.
• 각 언어에 대해 최대 12,000개의 대화 교환으로 제한하여 자원이 적은 상황을 시뮬레이션한다.
• 101개 언어에서 사전 훈련된 다국어 모델인 mT5를 대화 생성을 위해 미세조정한다.
• 영어 중심의 대화 집중 모델인 DialoGPT을 다국어 데이터에 대해 미세조정하여 제로샷 및 소수의 예시 전이 능력을 평가한다.
• 저자원 언어의 훈련 데이터 증강을 위해 다국어 번역 모델인 MarianMT를 활용한다.
• sacreBLEU, BERTScore(B-2, B-4), 그리고 다양성 지표(Distinct-2, Distinct-4, 엔트로피)를 사용하여 모델을 평가한다.

실험 결과

연구 질문

• RQ1 mT5와 같은 다국어 모델과 DialoGPT와 같은 영어 중심 모델이 자원 수준이 다양한 46개 언어에서 대화 생성에 어떻게 성능을 내는가?
• RQ2 단일 다국어 모델이 제로샷 또는 소수의 예시 설정에서 예상치 못한 언어로 일반화할 수 있는 정도는 어느 정도인가?
• RQ3 다국어 대화 생성에서 응답의 관련성과 다양성 사이의 상충 관계는 어떠한가?
• RQ4 혼합 언어 데이터에 대해 미세조정을 수행할 경우 고자원 및 저자원 언어 간 성능에 어떤 영향을 미치는가?
• RQ5 다국어 대화 생성에서 영어와 다른 언어 간의 성능 격차는 어떤가?

주요 결과

• mT5 기반 모델은 모든 언어에서 sacreBLEU와 BERTScore에서 DialoGPT 기반 모델을 능가하여 더 높은 응답 관련성을 보였다.
• 더 높은 관련성에도 불구하고 mT5 기반 모델은 Distinct-2 및 Distinct-4 점수에서 낮은 수준의 다양성을 보였으며, 이는 더 반복적이고 예측 가능한 응답을 생성했음을 의미한다.
• DialoGPT 기반 모델은 더 높은 다양성을 달성했지만, 특히 저자원 언어에서 관련성은 낮았다.
• 단일 다국어 mT5 모델은 예상치 못한 언어로 효과적으로 일반화되었으며, 혼합 언어 환경에서도 유효한 응답을 생성했다.
• 영어와 다른 언어 간에 상당한 성능 격차가 여전히 존재했으며, 모든 지표에서 영어의 생성 품질이 다른 언어들보다 뚜렷하게 뛰어났다.
• 저자원 언어는 다국어 데이터로 훈련함으로써 약간의 향상이 있었지만, 고자원 언어는 이러한 미세조정에 거의 영향을 받지 않았다.