[논문 리뷰] Cross-Lingual Dialogue Dataset Creation via Outline-Based Generation

Olga Majewska, Evgeniia Razumovskaia외 3명|arXiv (Cornell University)|2022. 01. 31.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 도메인 특화 대화 체계를 자연어 개요로 변환하여 다국어 작업 지향 대화 데이터셋을 생성하는 개요 기반 방법을 제안한다. 이 개요는 다국어에서 자연스럽고 문화적으로 적절한 대화를 생성하도록 모국어 사용자를 안내한다. 결과적으로 생성된 Cross-lingual Outline-based Dialogue (cod) 데이터셋은 11개 도메인과 4개의 다양한 언어에서 다국어 및 다언어 대화 시스템의 강력한 평가를 가능하게 하며, 번역 기반 방법에 비해 훨씬 높은 데이터 품질과 더 현실적인 성능 기준을 제공한다.

ABSTRACT

Multilingual task-oriented dialogue (ToD) facilitates access to services and information for many (communities of) speakers. Nevertheless, the potential of this technology is not fully realised, as current datasets for multilingual ToD - both for modular and end-to-end modelling - suffer from severe limitations. 1) When created from scratch, they are usually small in scale and fail to cover many possible dialogue flows. 2) Translation-based ToD datasets might lack naturalness and cultural specificity in the target language. In this work, to tackle these limitations we propose a novel outline-based annotation process for multilingual ToD datasets, where domain-specific abstract schemata of dialogue are mapped into natural language outlines. These in turn guide the target language annotators in writing a dialogue by providing instructions about each turn's intents and slots. Through this process we annotate a new large-scale dataset for training and evaluation of multilingual and cross-lingual ToD systems. Our Cross-lingual Outline-based Dialogue dataset (termed COD) enables natural language understanding, dialogue state tracking, and end-to-end dialogue modelling and evaluation in 4 diverse languages: Arabic, Indonesian, Russian, and Kiswahili. Qualitative and quantitative analyses of COD versus an equivalent translation-based dataset demonstrate improvements in data quality, unlocked by the outline-based approach. Finally, we benchmark a series of state-of-the-art systems for cross-lingual ToD, setting reference scores for future work and demonstrating that COD prevents over-inflated performance, typically met with prior translation-based ToD datasets.

연구 동기 및 목표

• 기존의 다국어 작업 지향 대화(ToD) 데이터셋이 번역 기반 생성 방식으로 인해 크기가 작거나 대화 흐름의 커버리지가 부족하거나 자연스럽지 않거나 문화적으로 부적절한 등의 문제를 야기한다는 점을 해결하기 위해.
• 언어적 및 문화적 진정성을 유지하면서도 다국어 간 전이 학습을 가능하게 하는, 확장 가능하고 비용 효율적인 고품질 다국어 ToD 데이터 생성 방법을 개발하기 위해.
• 다양한 언어에서 종합적인 대화 상태 추적, 자연어 이해 및 엔드 투 엔드 대화 생성 모델을 훈련하고 평가할 수 있도록, 대규모의 다국어, 다도메인 대화 데이터셋을 만들기 위해.
• 번역 기반 데이터셋에서 흔히 발생하는 과도하게 낙관적인 성능 추정을 방지하는 현실적인 평가 기준을 제공함으로써, 다국어 ToD 시스템의 더 신뢰할 수 있는 평가를 가능하게 하기 위해.

제안 방법

• 영문 스키마 가이드 대화(SGD) 데이터셋에서 도메인 특화의 언어 독립적 대화 체계를 추출하여 추상 템플릿으로 변환한다.
• 이러한 체계는 자동으로 영어로 자연어 개요로 변환되며, 각 대화 턴의 의도와 필수 슬롯 값이 명시된다.
• 대상 언어(아랍어, 인도네시아어, 러시아어, 스포크스와힐리)의 모국어 사용자들이 이러한 개요를 지침으로 삼아, 현지 맥락에 맞는 자연스럽고 문화적으로 적절한 대화를 생성한다.
• 슬롯 값은 현지 맥락으로 대체된다. 이 과정은 다국어 간 비교 가능성을 유지하면서도 언어적 자연스러움과 문화적 특수성을 보존하여 직접 번역의 단점을 피한다.
• 최종적으로 생성된 데이터셋 cod는 다국어 대화 시스템 평가를 위한 여러 작업을 지원한다: 의도 검출, 슬롯 레이블링, 대화 상태 추적, 11개 도메인과 4개 언어에서의 엔드 투 엔드 대화 생성.
• 제거 실험은 cod를 번역 기반 기준과 비교하여 데이터 품질 향상과 모델 일반화 능력 향상의 정량적·정성적 증거를 제시한다.

실험 결과

연구 질문

• RQ1 개요 기반 애너테이션 파이프라인은 번역 기반 방법에 비해 더 자연스럽고 문화적으로 적절한 다국어 작업 지향 대화 데이터를 생성할 수 있는가?
• RQ2 제안된 방법은 다국어 작업 지향 대화 시스템의 더 나은 일반화와 더 현실적인 성능 평가를 가능하게 하는가?
• RQ3 cod 데이터셋은 다국어 및 다도메인 설정, 특히 교차 도메인 및 엔드 투 엔드 설정에서 얼마나 잘 평가를 지원하는가?
• RQ4 최신의 다국어 모델은 cod에서 번역 기반 기준과 비교해 어떻게 성능을 내며, cod는 과도하게 부풀려진 성능 추정을 방지하는가?

주요 결과

• 정성적 분석을 통해 개요 기반 방법은 번역 기반 기준에 비해 훨씬 더 자연스럽고 문화적으로 특수한 대화를 생성함을 확인했다.
• cod 데이터셋은 번역 기반 기준에서 흔히 발생하는 낙관적인 성능 추정을 방지하여 다국어 간 전이 평가를 더 현실적으로 가능하게 했다.
• cod에서 도메인 내 의도 검출 정확도는 XLM-R 기준 32.07%이며, 슬롯 레이블링의 F1 점수는 53.36%에 이르며, 향후 개선 여지가 크므로 데이터셋의 도전성과 유용성을 시사한다.
• 교차 도메인 성능는 도메인 내 성능보다 상당히 낮아, 제로샷 또는 피셔샷 교차 도메인 전이의 어려움을 반영하며, 이는 데이터셋이 이러한 평가에 적합함을 입증한다.
• 엔드 투 엔드 생성의 BLEU 점수는 낮아(예: mT5의 교차 도메인에서 3.76), 엔드 투 엔드 모델에 대해 의미 있는 도전 과제를 제공함을 확인했다.
• cod 데이터셋은 11개 도메인과 4개의 언어형태학적으로 다양성이 있는 언어를 지원하는 최초의 다국어 ToD 자원으로, NLU, DST, E2E 시스템의 종합적 벤치마킹을 가능하게 한다.