[논문 리뷰] Contextual Semantic Parsing for Multilingual Task-Oriented Dialogues

Mehrad Moradshahi, Victoria Tsai외 2명|arXiv (Cornell University)|2021. 11. 04.

Speech and dialogue systems인용 수 4

한 줄 요약

이 논문은 신경 기계 번역과 슬롯-값 일치를 사용하여 인간의 주석 없이 고품질의 저자원 언어 데이터셋을 자동으로 생성하는 다국어 대화 상태 추적 프레임워크를 제안한다. 마지막 발화와 현재의 믿음 상태만 인코딩하는 문맥적 의미 분석 모델(BART-CSP)을 결합함으로써 번역 오류의 누적 현상을 줄이고, RiSAWOZ, CrossWOZ, MultiWOZ-ZH와 같은 다국어 벤치마크에서 11–52.5%의 최신 기술(SOTA) 수준의 공동 목표 정확도 향상을 달성한다.

ABSTRACT

Robust state tracking for task-oriented dialogue systems currently remains restricted to a few popular languages. This paper shows that given a large-scale dialogue data set in one language, we can automatically produce an effective semantic parser for other languages using machine translation. We propose automatic translation of dialogue datasets with alignment to ensure faithful translation of slot values and eliminate costly human supervision used in previous benchmarks. We also propose a new contextual semantic parsing model, which encodes the formal slots and values, and only the last agent and user utterances. We show that the succinct representation reduces the compounding effect of translation errors, without harming the accuracy in practice. We evaluate our approach on several dialogue state tracking benchmarks. On RiSAWOZ, CrossWOZ, CrossWOZ-EN, and MultiWOZ-ZH datasets we improve the state of the art by 11%, 17%, 20%, and 0.3% in joint goal accuracy. We present a comprehensive error analysis for all three datasets showing erroneous annotations can lead to misguided judgments on the quality of the model. Finally, we present RiSAWOZ English and German datasets, created using our translation methodology. On these datasets, accuracy is within 11% of the original showing that high-accuracy multilingual dialogue datasets are possible without relying on expensive human annotations. We release our datasets and software open source.

연구 동기 및 목표

• 비용이 많이 드는 인간 주석이 없는 저자원 언어에서 높은 정확도의 대화 상태 추적을 가능하게 하기 위해.
• 최근 발화와 현재 믿음 상태만으로 입력 컨텍스트를 제한하여 다국어 대화 상태 추적에서 번역 오류가 누적되는 문제를 해결하기 위해.
• 신경 기계 번역과 슬롯-값 일치를 활용하여 다국어 대화 데이터셋을 자동으로 생성하는 확장 가능한 자동화된 파이프라인을 개발하기 위해.
• 제안된 방법의 다국어 벤치마크에서의 견고성과 모델 평가를 오도할 수 있는 주석 오류를 분석하기 위해.
• 향후 다국어 작업 중심 대화 연구를 위해 오픈소스 도구와 데이터셋(RiSAWOZ-EN 및 RiSAWOZ-DE)을 공개하기 위해.

제안 방법

• 신경 기계 번역을 사용하여 기존 대화 데이터셋(예: RiSAWOZ)을 대상 언어로 자동으로 번역하고, 슬롯-값 무결성을 유지하기 위한 새로운 일치 메커니즘을 적용한다.
• 원본 언어의 슬롯과 값을 그에 맞는 번역어로 매핑하는 슬롯-값 일치 모델을 적용하여 핵심 엔티티의 잘못된 번역을 줄인다.
• 전체 대화 기록을 생략하고 현재 믿음 상태와 마지막 사용자 및 에이전트 발화만 인코딩하는 BART 기반의 문맥적 의미 분석(CSP) 모델을 설계한다.
• 번역된 데이터셋에 대해 미세조정된 시퀀스-투-시퀀스 트랜스포머 아키텍처(BART)를 사용하여 슬롯-값 쌍을 예측하며, 보다 좋은 일반화를 위해 사전학습된 언어 이해 능력을 활용한다.
• 모든 슬롯-값 쌍을 동시에 올바르게 예측하는 데 중점을 두어 공동 목표 정확도를 최적화하는 손실 함수를 적용한다.
• RiSAWOZ, CrossWOZ, MultiWOZ-ZH, 그리고 새로 생성된 RiSAWOZ-EN-auto 및 RiSAWOZ-DE-auto 데이터셋을 포함한 다국어 벤치마크에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 슬롯-값 일치를 통한 자동 기계 번역이 인간 후처리 없이도 고품질의 다국어 대화 데이터셋을 생성할 수 있는가?
• RQ2 최근 발화와 현재 믿음 상태만으로 입력 컨텍스트를 제한하면 대화 상태 추적에서 번역 오류의 누적 현상을 줄일 수 있는가?
• RQ3 특히 자동으로 번역된 데이터로 훈련된 경우, 문맥적 의미 분석 모델이 전체 기록 모델보다 다국어 환경에서 더 우수한 성능을 낼 수 있는가?
• RQ4 기존 벤치마크의 주석 오류가 대화 상태 추적 모델의 평가에 어떤 영향을 미치는가?
• RQ5 자동 번역된 데이터로 훈련된 다국어 대화 시스템이 인간 주석 기반 기준과 비교해 어느 정도의 성능을 달성할 수 있는가?

주요 결과

• 제안된 일치 방법은 비일치 번역 대비 RiSAWOZ에서 공동 목표 정확도를 45.6% 향상시켜 고비용의 인간 후처리가 필요 없어졌다.
• BART-CSP 모델은 RiSAWOZ에서 10.7% 향상되고 CrossWOZ에서 17% 향상되어 이전의 최신 기술 모델을 초월했다.
• 자동 번역된 데이터셋(RiSAWOZ-EN-auto 및 RiSAWOZ-DE-auto)에서 BART-CSP는 각각 32.4%와 52.5%의 공동 목표 정확도 향상을 기록하여 번역 노이즈에 대한 강력한 내성성을 입증했다.
• 새로 생성된 RiSAWOZ-EN 및 RiSAWOZ-DE 데이터셋에서 모델의 성능은 원본 영문 데이터셋 성능의 11% 이내였으며, 제로샷 다국어 전이에서 높은 무결성을 보였다.
• 오류 분석 결과, CrossWOZ의 33%의 잘못된 주석이 "Best for crowd" 슬롯을 누락하고 있었으며, 이는 주석의 일관성 없음이 모델 평가를 오도할 수 있음을 시사한다.
• 가격 범위 확장(예: 100–150을 80–150으로 확장)과 같은 논리적 추론 작업에서는 모델이 에이전트의 응답에서 암시된 새로운 범위를 인식하지 못하는 경우가 많았다.