[논문 리뷰] MTOP: A Comprehensive Multilingual Task-Oriented Semantic Parsing Benchmark

Haoran Li, Abhinav Arora외 4명|arXiv (Cornell University)|2020. 08. 21.

Topic Modeling참고 문헌 34인용 수 16

한 줄 요약

이 논문은 6개 언어와 11개 도메인에서 10만 개의 발화를 포함하는 다국어 작업 지향 의미 분석 벤치마크인 MTOP을 소개한다. 이는 평탄한 표현과 복합적인 슬롯 표현을 모두 지원한다. XLM-R 및 mBART와 같은 다국어 사전 훈련 모델을 사용하여 최신 성능을 달성하였으며, 대상 언어 데이터 없이도 제로샷 다국어 전이에서 기존 데이터셋 대비 +6.3 F1 점수 향상과 67.2%의 정확한 일치 정확도를 달성하였다.

ABSTRACT

Scaling semantic parsing models for task-oriented dialog systems to new languages is often expensive and time-consuming due to the lack of available datasets. Available datasets suffer from several shortcomings: a) they contain few languages b) they contain small amounts of labeled examples per language c) they are based on the simple intent and slot detection paradigm for non-compositional queries. In this paper, we present a new multilingual dataset, called MTOP, comprising of 100k annotated utterances in 6 languages across 11 domains. We use this dataset and other publicly available datasets to conduct a comprehensive benchmarking study on using various state-of-the-art multilingual pre-trained models for task-oriented semantic parsing. We achieve an average improvement of +6.3 points on Slot F1 for the two existing multilingual datasets, over best results reported in their experiments. Furthermore, we demonstrate strong zero-shot performance using pre-trained models combined with automatic translation and alignment, and a proposed distant supervision method to reduce the noise in slot label projection.

연구 동기 및 목표

• 저자원 언어를 대상으로 다양한 다국어 및 복합적인 작업 지향 의미 분석 데이터셋의 부족을 보완한다.
• 다양한 언어에서 복잡하고 중첩된 쿼리에 대해 다국어 사전 훈련 모델의 체계적 평가를 가능하게 한다.
• 자동 번역과 원거리 감독을 활용하여 의미 분석의 제로샷 다국어 전이 성능을 향상시킨다.
• 최신 다국어 모델을 사용하여 6개 언어에서 평탄한 표현과 복합적인 의미 분석에 대한 강력한 베이스라인을 수립한다.
• 다국어 사전 훈련이 단일 언어 미세조정 대비 성능 향상에 크게 기여하며, 특히 데이터 증강 기법과 조합 시 효과적임을 입증한다.

제안 방법

• 6개 언어(영어, 독일어, 스페인어, 프랑스어, 터키어, 태국어)에서 10만 개의 주석이 달린 발화를 포함하는 새로운 다국어 데이터셋인 MTOP을 공개한다. 이는 평탄한 표현과 복합적(계층적) 슬롯 표현을 모두 지원한다.
• mBERT, XLM-R, mBART, CRISS, MARGE와 같은 다국어 사전 훈련 모델을 사용하여 평탄한 표현 및 복합적 의미 분석 작업에 대해 미세조정한다.
• 제로샷 전이를 위해 자동 기계 번역과 다국어 단어 정렬을 적용하여 합성 훈련 데이터를 생성한다.
• 다국어 임베딩과 정렬을 활용하여 번역된 데이터에서 예측된 슬롯 레이블의 노이즈를 줄이기 위해 원거리 감독 방법을 도입한다.
• 마스크된 토큰을 번역된 대응어로 대체하여 일반화 능력을 향상시키기 위해 마스크된 데이터 증강 전략을 구현한다.
• 제로샷 평가를 위해 영어 모델을 소스 언어 데이터로 미세조정하고, 대상 언어에 대한 주석이 전혀 없는 상태에서 평가한다.

실험 결과

연구 질문

• RQ1 다국어 사전 훈련 모델은 대상 언어 데이터에 대한 미세조정 없이도 여러 언어에서 작업 지향 의미 분석에 강력한 제로샷 성능을 달성할 수 있는가?
• RQ2 자동 번역과 다국어 정렬을 조합하여 의미 분석의 제로샷 전이 성능을 향상시키는 데 얼마나 효과적인가?
• RQ3 정렬된 임베딩을 활용한 원거리 감독이 예측된 슬롯 레이블의 노이즈를 줄이고 제로샷 성능을 향상시키는가?
• RQ4 XLM-R, mBART, CRISS와 같은 다양한 다국어 모델이 다양한 언어에서 복합적 및 평탄한 의미 분석 작업에서 성능 면에서 어떻게 비교되는가?
• RQ5 다국어 사전 훈련이 저자원 언어에서 단일 언어 미세조정 대비 일반화 능력을 얼마나 향상시키는가?

주요 결과

• 제안된 원거리 감독 방법은 번역된 데이터에서 슬롯 레이블을 투영할 때 노이즈를 크게 감소시켜 제로샷 성능을 향상시켰다.
• XLM-R에 마스크된 데이터 증강과 번역 정렬을 적용한 결과, 5개 언어에서 제로샷 다국어 전이 시 67.2%의 정확한 일치 정확도를 달성하였으며, 언어 내 모델의 77.7% 성능에 근접하였다.
• XLM-R 기반 모델은 기존의 다국어 데이터셋(Multilingual ATIS 및 Multilingual TOP)에서 이전에 보고된 최고 성능 대비 +6.3 F1 점수 향상을 달성하였다.
• mBART는 초기에 제로샷 성능이 열악했지만, 다국어 번역 작업에 대해 미세조정을 거친 후 성능이 크게 향상되어, 초기에 과도하게 미세조정되지 않았음을 시사한다.
• XLM-R와 CRISS는 5개 언어에서 최고 성능을 기록하였으며, XLM-R는 태국어에서 그 pre-training 과정에서 태국어를 포함한 덕분에 다른 모델들을 능가하였다.
• 번역으로 인한 토크나이제이션 불일치는 슬pac, 태국어 등 공백이 없는 단어 구조를 가진 언어에서 성능 저하를 유발하며, 제로샷 전이의 핵심 과제로 부각된다.