[논문 리뷰] GlobalWoZ: Globalizing MultiWoZ to Develop Multilingual Task-Oriented Dialogue Systems

Bosheng Ding, Junjie Hu외 5명|arXiv (Cornell University)|2021. 10. 14.

Speech and dialogue systems인용 수 9

한 줄 요약

이 논문은 MultiWoZ의 대화 템플릿을 20개의 언어로 번역하고 대상 언어 국가의 현지화된 실체를 포함시켜 만든 대규모 다국어 작업 지향 대화 데이터셋인 GlobalWoZ를 소개한다. 이 방법은 F&F, F&E, E&F와 같은 세 가지 새로운 사용 사례에 대해 실제적인 제로샷 다국어 전이를 가능하게 하며, 직접 번역 기반 대비 현지화된 실체를 사용할 경우 대화 상태 추적 성능이 크게 향상됨을 입증한다.

ABSTRACT

Much recent progress in task-oriented dialogue (ToD) systems has been driven by available annotation data across multiple domains for training. Over the last few years, there has been a move towards data curation for multilingual ToD systems that are applicable to serve people speaking different languages. However, existing multilingual ToD datasets either have a limited coverage of languages due to the high cost of data curation, or ignore the fact that dialogue entities barely exist in countries speaking these languages. To tackle these limitations, we introduce a novel data curation method that generates GlobalWoZ -- a large-scale multilingual ToD dataset globalized from an English ToD dataset for three unexplored use cases. Our method is based on translating dialogue templates and filling them with local entities in the target-language countries. We release our dataset as well as a set of strong baselines to encourage research on learning multilingual ToD systems for real use cases.

연구 동기 및 목표

• 실제 다국어 여행 시나리오를 반영하지 못하는 현실적인 다국어 작업 지향 대화(ToD) 데이터셋의 부족을 해결하기 위해.
• 기존 데이터셋이 영어만 사용하거나 실체를 현지화하지 않은 채 번역하여 실생활 적용성에 빈도가 떨어지는 문제를 해결하기 위해.
• 기계 번역과 현지 실체 탐색을 활용해 영어 ToD 데이터셋(MultiWoZ)을 20개 언어로 글로벌화하는 비용 효율적인 데이터 정제 방법을 제안하기 위해.
• 새로운 데이터셋에서 다국어 사전 훈련 모델의 제로샷 및 피처샷 다국어 전이 성능을 평가하기 위해.
• GlobalWoZ와 강력한 베이스라인을 공개하여 실생활 배포를 위한 다국어 ToD 시스템 연구를 촉진하기 위해.

제안 방법

• 신경 기계 번역을 사용해 MultiWoZ의 대화 템플릿을 20개의 목표 언어로 번역한다.
• 크롤링된 온톨로지와 현지 지식 자료를 활용해 영어 명시적 실체를 목표 언어 국가의 현지화된 실체로 교체한다.
• 유창성과 정확성을 확보하기 위해 최소한의 인간 후처리(수백 개의 템플릿)를 수행한다.
• 세 가지 별도의 사용 사례 시나리오를 구성한다: F&F(외국어 사용자가 외국에 있을 때), F&E(외국어 사용자가 영어권에 있을 때), E&F(영어 사용자가 외국에 있을 때), 기존의 E&E 사례와 차별화된다.
• 새로운 데이터셋에서 제로샷 및 피처샷 다국어 전이 설정을 사용해 다국어 ToD 모델을 훈련하고 평가한다.
• 모델 성능이 MT 및 MTPE(후처리가 적용된 기계 번역) 테스트 세트 간 일관성을 검증하기 위해 스피어만의 순위 상관관계를 사용한다.

실험 결과

연구 질문

• RQ1 기존의 E&E 사례와 비교해, F&F, F&E, E&F와 같은 다양한 다국어 사용 사례에서 다국어 ToD 모델의 성능는 어떻게 달라지는가?
• RQ2 실제로 현지화된 실체를 목표 언어에 사용할 경우, 직접 실체 번역 대비 대화 상태 추적 정확도는 얼마나 향상되는가?
• RQ3 다국어 사전 훈련 모델은 GlobalWoZ와 같은 글로벌 컨텍스트로 캐스팅된 데이터셋에서 제로샷 다국어 전이에 효과적으로 일반화될 수 있는가?
• RQ4 스크립트 유형(예: 라틴 문자 vs. 비라틴 문자)이 다를 경우, 현지 컨텍스트와 실체가 다른 스크립트에 있을 때 모델 성능에 어떤 영향을 미치는가?
• RQ5 태국어나 베트남어와 같은 저자원 언어에서의 실패 유형은 무엇이며, 이는 모델 성능에 어떤 영향을 미치는가?

주요 결과

• SUC 베이스라인은 중국어 F&F 테스트 데이터에서 36.97%의 공동 정확도를 기록했으며, 제로샷 E&E 베이스라인(1.22%)과 Translate-Train(2.61%)을 크게 앞서며 현지화된 실체의 중요성을 입증한다.
• F&E 사용 사례에서 SUC는 스페인어 테스트 데이터에서 56.28%의 공동 정확도를 기록했으며, 제로샷 베이스라인(6.92%)과 Translate-Train(2.28%)을 크게 앞서며 현지 실체 훈련의 이점을 확인한다.
• 태국어와 베트남어에서는 톤 마크 예측 실패로 성능이 크게 떨어졌으며(예: E&F에서 태국어 3.06%), 이는 후처리 또는 전용 모델이 필요함을 시사한다.
• 모든 언어에서 MT와 MTPE 테스트 결과 간 스피어만 상관계수는 1.00이었으며, 이는 모델 순위 일관성과 평가 설정의 신뢰성을 의미한다.
• 같은 스크립트(예: 라틴 문자)에 있을 경우 현지 실체 훈련이 현지 컨텍스트 훈련보다 더 효과적이지만, 스크립트가 다를 경우 현지 컨텍스트가 더 중요해지며, 스크립트 일치의 역할을 강조한다.
• MBUC 방법은 영어의 F2E 케이스에서 60.48%의 공동 정확도를 기록했으며, SUC(57.10%)와 BBUC(59.05%)를 모두 앞서며 제로샷 설정에서 더 높은 강건성을 확보함을 보여준다.