[논문 리뷰] Multi3WOZ: A Multilingual, Multi-Domain, Multi-Parallel Dataset for Training and Evaluating Culturally Adapted Task-Oriented Dialog Systems

Songbo Hu, Han Zhou외 6명|arXiv (Cornell University)|2023. 07. 26.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 영어, 아랍어, 프랑스어, 터키어를 포함하는 다국어, 다도메인, 다병렬 작업 지향 대화 데이터셋인 Multi3WOZ를 소개한다. 이 데이터셋은 하향식 접근 방식이 아닌 개요 기반 데이터 수집 절차를 통해 제작되어 문화적 적합성과 언어적 진정성을 확보하였다. 이 데이터셋을 통해 단일 언어, 다국어, 다국어 간 전이 학습 설정에서 NLU, DST, NLG, 종단간 작업에 대한 모델 훈련 및 평가가 가능하며, 기준 성능 결과는 특히 영어에 비해 자원이 적은 언어인 프랑스어와 터키어에서 뚜렷한 성능 격차를 보였다.

ABSTRACT

Creating high-quality annotated data for task-oriented dialog (ToD) is known to be notoriously difficult, and the challenges are amplified when the goal is to create equitable, culturally adapted, and large-scale ToD datasets for multiple languages. Therefore, the current datasets are still very scarce and suffer from limitations such as translation-based non-native dialogs with translation artefacts, small scale, or lack of cultural adaptation, among others. In this work, we first take stock of the current landscape of multilingual ToD datasets, offering a systematic overview of their properties and limitations. Aiming to reduce all the detected limitations, we then introduce Multi3WOZ, a novel multilingual, multi-domain, multi-parallel ToD dataset. It is large-scale and offers culturally adapted dialogs in 4 languages to enable training and evaluation of multilingual and cross-lingual ToD systems. We describe a complex bottom-up data collection process that yielded the final dataset, and offer the first sets of baseline scores across different ToD-related tasks for future reference, also highlighting its challenging nature.

연구 동기 및 목표

• 기존의 다국어 작업 지향 대화 데이터셋이 겪는 문제점인 번역 오염, 규모 작음, 문화적 적합성 부족, 다국어 병렬성 부족을 해결하기 위해.
• 다양한 NLP 작업(NLU, DST, NLG, E2E)에 대해 단일 언어, 다국어, 다국어 간 전이 학습 설정에서 훈련 및 평가를 지원하는 대규모, 고품질, 문화적으로 현지화된 다국어 작업 지향 대화 데이터셋을 구축하기 위해.
• 번역 기반 데이터 생성 방식에 의존하는 것을 넘어서, 추상적 대화 개요와 언어별 표면적 표현을 분리하는 하향식 접근이 아닌, 개요 기반의 방법론을 도입하여 이를 통해 언어 간 일관성과 자연스러움을 확보하기 위해.
• 네 가지 언어 간 동기화된 다중 병렬 대화 흐름을 통해 의미 있는 다국어 간 비교와 전이 학습을 가능하게 하기 위해.
• 향후 연구 및 비교 분석을 위해 다국어 작업 지향 대화 작업 전반에 걸쳐 첫 번째 종합적인 기준 성능 점수 세트를 제공하기 위해.

제안 방법

• 데이터셋은 Majewska 등(2023)의 영감을 받아, 언어에 의존하지 않는 대화 개요(개요)를 먼저 생성한 후, 각 목표 언어에서 현지어 사용자들이 독립적으로 자연스럽고 문화적으로 적합한 발화로 실현하는 하향식 접근이 아닌 개요 기반의 방식으로 제작되었다.
• 각 대화는 고정된 도메인 집합(예: 식당, 호텔, 택시)을 중심으로 구성되며, 각 대화 터닝은 각 언어의 실제 생활 속 문화적·언어적 관례를 반영하도록 현지어 사용자들이 수작업으로 작성하였다.
• 데이터 수집 절차는 다중 병렬성을 보장한다: 각 대화 흐름이 네 가지 언어(영어, 아랍어, 프랑스어, 터키어) 전부에서 유지되며, 이는 직접적인 다국어 간 비교와 전이 학습을 가능하게 한다.
• 최종 데이터셋은 각 언어당 7,440개의 훈련, 860개의 개발, 860개의 테스트 대화를 포함하며, 총 약 494,116개의 대화 터닝을 기록하고, NLU, DST, NLG 작업 전반에 걸쳐 일관된 주석 처리가 이루어졌다.
• 기준 모델은 DST 및 응답 생성(RG)에 mT5-large를 백본으로 사용하며, 입력은 이력, 예측된 상태, 데이터베이스 요약을 연결한 것으로 구성되고, 출력은 탈구체화된 응답이다.
• 평가 기준은 표준 작업 지향 대화 메트릭스인 Inform Rate, Success Rate, 그리고 탈구체화된 응답에 대한 BLEU를 사용하였으며, 실험은 배치 크기 4와 5에포크 훈련 스케줄을 사용한 단일 A100 GPU에서 수행되었다.

실험 결과

연구 질문

• RQ1 번역 기반 오염을 피하고 여러 언어에서 언어적 진정성을 확보하기 위해, 체계적으로 대규모로 문화적으로 적합한 다국어 작업 지향 대화 데이터셋을 어떻게 제작할 수 있는가?
• RQ2 종단간 작업 지향 대화 시스템에서 성능 격차가 나타나는 정도는 어떠한가(예: 영어 대비 프랑스어/터키어), 그리고 이러한 격차를 유도하는 요인는 무엇인가?
• RQ3 하향식 접근이 아닌 개요 기반 데이터 수집 프레임워크가 다국어에 대해 효과적으로 확장되어 대화의 일관성과 문화적 관련성을 유지할 수 있는가?
• RQ4 대규모 다중 병렬 작업 지향 대화 데이터셋에서 다국어 및 다국어 간 전이 학습 설정이 단일 언어 기준 모델 대비 어떻게 성능을 내는가?
• RQ5 다국어 환경에서 핵심 작업 지향 대화 작업(NLU, DST, NLG, E2E)의 기준 성능 수준은 어떠한가, 그리고 언어 간으로 어떻게 변화하는가?

주요 결과

• Multi3WOZ 데이터셋은 네 가지 언어(영어, 아랍어, 프랑스어, 터키어)에 걸쳐 총 494,116개의 대화 터닝을 포함하며, 각 언어당 7,440개의 훈련, 860개의 개발, 860개의 테스트 대화를 포함하여 균형 잡힌 다국어 커버리지가 보장된다.
• mT5-large를 사용한 완전 지도 기반 종단간 모델은 모든 언어에서 평균 Inform Rate 57.1%, Success Rate 29.8%, BLEU 점수 14.6%를 기록했으며, 특히 자원이 적은 언어인 프랑스어와 터키어에서 뚜렷한 성능 저하가 나타났다.
• 영어는 유의미하게 높은 성능을 보였으며, Inform Rate 67.9%, Success Rate 39.0%를 기록했고, 프랑스어와 터키어는 낮은 성능(각각 Inform Rate 47.9%, 45.9%)을 보이며 강한 언어-자원 편향이 드러났다.
• mT5-large 모델은 mT5-small 대비 Inform Rate 16.4점, Success Rate 17.2점, BLEU 4.6점 향상되어 모델 규모 증가에 따른 상당한 성능 향상을 입증했다.
• Multi3WOZ의 다중 병렬적이고 문화적으로 적합한 설계 덕분에 의미 있는 다국어 간 분석과 전이 학습이 가능해졌으며, 향후 비교 연구를 위한 기준 점수도 제공된다.
• 개요 기반 데이터 수집 방법은 대규모에서 효과적이고 실현 가능했으며, 번역 스타일의 어색함과 인위적인 오염 없이 고품질의 자연스러운 대화를 생성했다.