[논문 리뷰] Crossing the Conversational Chasm: A Primer on Multilingual Task-Oriented Dialogue Systems.

Evgeniia Razumovskaia, Goran Glavašš외 3명|arXiv (Cornell University)|2021. 04. 17.

Topic Modeling참고 문헌 108인용 수 13

한 줄 요약

이 논문은 다국어 작업 지향 대화(ToD) 시스템의 핵심 장애 요소로 데이터 부족과 영어와 같은 고자원 언어에 대한 의존성을 규명한다. 기계 번역과 다국어 임베딩을 포함한 다국어 간 전이 방법을 검토하며, 진정으로 다국어화된 ToD를 가능하게 하기 위해 다국어 전이와 다국어 미세조정을 통한 확장 가능한 저자원 솔루션의 필요성을 주장한다.

ABSTRACT

Despite the fact that natural language conversations with machines represent one of the central objectives of AI, and despite the massive increase of research and development efforts in conversational AI, task-oriented dialogue (ToD) -- i.e., conversations with an artificial agent with the aim of completing a concrete task -- is currently limited to a few narrow domains (e.g., food ordering, ticket booking) and a handful of major languages (e.g., English, Chinese). In this work, we provide an extensive overview of existing efforts in multilingual ToD and analyse the factors preventing the development of truly multilingual ToD systems. We identify two main challenges that combined hinder the faster progress in multilingual ToD: (1) current state-of-the-art ToD models based on large pretrained neural language models are data hungry; at the same time (2) data acquisition for ToD use cases is expensive and tedious. Most existing approaches to multilingual ToD thus rely on (zero- or few-shot) cross-lingual transfer from resource-rich languages (in ToD, this is basically only English), either by means of (i) machine translation or (ii) multilingual representation spaces. However, such approaches are currently not a viable solution for a large number of low-resource languages without parallel data and/or limited monolingual corpora. Finally, we discuss critical challenges and potential solutions by drawing parallels between ToD and other cross-lingual and multilingual NLP research.

연구 동기 및 목표

• 다국어 작업 지향 대화(ToD) 시스템 개발의 현재 한계를 분석하기 위해.
• 다국어 ToD에서의 핵심 장애 요소로 데이터 부족과 영어와 같은 고자원 언어에 대한 의존성을 특정하기 위해.
• 저자원 언어 전이를 위한 기존의 다국어 간 전이 접근법—기계 번역과 다국어 표현 공간—을 평가하기 위해.
• 다양한 다국어 NLP 연구와의 유사성을 통해 확장 가능한 다국어 ToD를 위한 길을 모색하기 위해.
• 영어에서의 제로-샷 또는 소수의 샘플 전이를 넘어서 저자원, 자료 효율적인 방법의 급한 필요성을 부각하기 위해.

제안 방법

• 주로 영어를 기반으로 한 고자원 언어에서의 전이에 의존하는 기존의 다국어 ToD 시스템과 그 의존도를 조사하기 위해.
• 대규모 미리 훈련된 신경망 언어 모델이 효과적인 ToD 성능을 달성하기 위해 자료를 얼마나 많이 소비하는지 분석하기 위해.
• 두 가지 주요 전이 전략을 평가하기 위해: (i) 고자원 언어의 자료를 저자원 언어로 번역하기 위해 기계 번역을 사용하는 것, 그리고 (ii) 제로-샷 또는 소수의 샘플 전이를 위해 다국어 표현 공간을 활용하는 것.
• 다양한 다국어 NLP 연구에서의 유사 사례를 인용하여 다국어 ToD에 적용 가능한 확장 가능하고 자료 효율적인 기법을 도출하기 위해.
• 병렬 데이터 부족과 제한된 단일 언어 코퍼스가 저자원 언어의 주요 제약 조건임을 강조하기 위해.
• 미래의 발전은 다국어 미세조정과 저자원 파라미터 조정 전략의 혁신에 달려 있다고 제안하기 위해.

실험 결과

연구 질문

• RQ1 진정으로 다국어화된 작업 지향 대화 시스템 개발을 방해하는 주요 기술적 및 자료 관련 장애 요소는 무엇인가?
• RQ2 저자원 언어 환경에서 ToD에 대해 제로-샷 또는 소수의 샘플 전이 방법의 효과는 어느 정도인가?
• RQ3 기계 번역과 다국어 표현 공간은 저자원 언어에서 단일 언어 ToD 자료를 얼마나 잘 대체할 수 있는가?
• RQ4 더 넓은 다국어 NLP 연구에서 얻은 교훈은 다국어 ToD의 자료 부족 문제를 해결하는 데 어떻게 적용될 수 있는가?
• RQ5 영어를 유일한 기초 언어로 삼는 데 의존하지 않고 다국어 ToD를 가능하게 하기 위해 필요한 확장 가능한, 자료 효율적인 접근법은 무엇인가?

주요 결과

• 대규모 미리 훈련된 언어 모델에 기반한 최신 기술적 성능을 내는 ToD 모델은 자료 소비가 매우 높아 저자원 언어에 대한 적용 가능성을 제한한다.
• 대부분의 다국어 ToD 접근법은 영어에서의 전이에 의존하며, 병렬 데이터나 충분한 단일 언어 코퍼스가 없는 언어에는 적용 가능성이 떨어진다.
• 기계 번역이나 다국어 임베딩을 통한 제로-샷 또는 소수의 샘플 전이 방법은 자료 부족으로 인해 저자원 환경에서 탄탄한 성능을 내지 못한다.
• 병렬 데이터 부족과 제한된 단일 언어 코퍼스는 다국어 ToD에서 저자원 언어의 핵심 장애 요소로 남아 있다.
• 다국어 간 전이 방법은 자료 효율성 향상 없이 다각도의 언어에 광범위하게 배포하기에는 현재로서는 충분하지 않다.
• 다국어 ToD의 향후 발전은 다국어 표현 학습 및 미세조정의 진전에서 영감을 얻은 확장 가능한 저자원 솔루션에 달려 있다.