[논문 리뷰] Code-switched inspired losses for generic spoken dialog representations

Émile Chapuis, Pierre Colombo외 2명|arXiv (Cornell University)|2021. 08. 27.

Topic Modeling참고 문헌 103인용 수 11

한 줄 요약

이 논문은 OpenSubtitles에서 자동으로 구축한 다국어 대화를 기반으로, 코드 스위칭을 반영한 사전학습 손실을 도입하여 일반적인 다국어 음성 대화 표현을 학습한다. 제안된 방법은 다국어 및 단국어 다운스트림 작업에서 성능을 크게 향상시키며, mBERT 및 기타 베이스라인보다 새로운 다국어 대화 액트 인식 및 다국어 음성 문장 유사도 검색 벤치마크에서 뛰어난 성능을 보인다.

ABSTRACT

Spoken dialog systems need to be able to handle both multiple languages and multilinguality inside a conversation ( extit{e.g} in case of code-switching). In this work, we introduce new pretraining losses tailored to learn multilingual spoken dialog representations. The goal of these losses is to expose the model to code-switched language. To scale up training, we automatically build a pretraining corpus composed of multilingual conversations in five different languages (French, Italian, English, German and Spanish) from exttt{OpenSubtitles}, a huge multilingual corpus composed of 24.3G tokens. We test the generic representations on exttt{MIAM}, a new benchmark composed of five dialog act corpora on the same aforementioned languages as well as on two novel multilingual downstream tasks ( extit{i.e} multilingual mask utterance retrieval and multilingual inconsistency identification). Our experiments show that our new code switched-inspired losses achieve a better performance in both monolingual and multilingual settings.

연구 동기 및 목표

• 기존 모델이 다국어 및 코드 스위칭이 포함된 음성 대화를 다루는 데에 한계가 있음을 해결하기 위해.
• 문장 수준에서 코드 스위칭을 명시적으로 모델링하는 사전학습 목표를 개발하여 다국어 표현 학습을 향상시키기 위해.
• OpenSubtitles에서 유래한 대규모 자동 구축 다국어 대화 코퍼스를 활용해 사전학습을 확장하기 위해.
• 제안된 방법을 새로운 다국어 대화 액트 벤치마크(MIAM) 및 두 가지 새로운 다국어 작업인 다국어 마스크 문장 검색 및 일관성 불일치 식별에 대해 평가하기 위해.
• 코드 스위칭을 반영한 손실이 단국어 및 다국어 환경 모두에서 더 나은 일반화 성능을 이끌어내는지 입증하기 위해.

제안 방법

• 코드 스위칭 패턴에서 영감을 얻은 세 가지 새로운 사전학습 목표인 mMUG(다국어 마스크 문장 생성), mHR(다국어 다음 문장 검색), TMUG(시간적 다국어 문장 생성)를 제안한다.
• 다섯 개 언어(en, fr, de, es, it) 간에 기존 문장 수준의 정렬을 활용하여 OpenSubtitles에서 대규모 다국어 대화 코퍼스를 자동으로 구축한다.
• 단일 인코더-디코더 프레임워크 내에서 언어 간의 맥락을 공유하는 크로스 어텐션 메커니즘을 공유하는 순차적-순차적 아키텍처를 사용한다.
• 다국어 맥락에서 서로 다른 언어의 문장을 마스킹하고 예측하는 계층적 마스킹 전략을 적용하여 코드 스위칭 행동을 시뮬레이션한다.
• 논의 수준의 의존성을 언어 간에 포괄적으로 포착하기 위해 마스크 문장 예측, 다음 문장 검색, 시간적 일관성 목표를 조합하여 모델을 훈련시킨다.
• 대화 액트 분류 및 다국어 음성 문장 검색을 포함한 단국어 및 다국어 다운스트림 작업에 대해 유도된 표현을 미세조정한다.

실험 결과

연구 질문

• RQ1 코드 스위칭을 반영한 사전학습 손실은 다국어 환경에서 일반적인 음성 대화 표현의 품질을 향상시킬 수 있는가?
• RQ2 사전학습 중에 코드 스위칭 패턴을 포함한 다국어 대화에 노출될 경우, 단국어 및 다국어 다운스트림 작업 성능에 어떤 영향을 미치는가?
• RQ3 OpenSubtitles에서 유래한 대규모 자동 구축 다국어 대화 코퍼스는 다국어 대화 이해를 위한 사전학습에 효과적으로 기여할 수 있는가?
• RQ4 여러 다국어 사전학습 목표를 조합할 경우 개별 목표를 사용할 때보다 더 나은 일반화 성능을 달성할 수 있는가?
• RQ5 제안된 손실이 다국어 마스크 문장 검색 및 일관성 불일치 탐지와 같은 새로운 다국어 작업에서 얼마나 성능을 향상시키는가?

주요 결과

• 제안된 방법인 mMUG+TMUG+MMUG는 다국어 대화 액트 벤치마크(MIAM)에서 가장 높은 성능을 기록했으며, 독일어 테스트 세트에서 R@5 점수가 70.2%로 mBERT보다 4.1%p 높았다.
• 다국어 다음 문장 검색(mNUR) 작업에서 최고 성능을 낸 모델은 영어-프랑스어 다국어 설정에서 R@5 점수가 64.0%로 mBERT보다 6.1%p 향상되었다.
• 세 손실을 모두 적용한 모델(mMUG+TMUG+MMUG)은 다국어 일관성 불일치 탐지 작업에서 R@5 점수가 68.3%를 기록하여 다양한 언어 쌍 간의 강력한 일반화 능력을 보였다.
• 모든 단국어 및 다국어 평가 작업에서 mBERT 및 mBERT(4층)를 초월하여 일관된 성능 향상을 보였으며, 제로샷 및 패트치샷 설정 모두에서 유의미한 개선을 보였다.
• 제거 실험을 통해 세 손실을 모두 조합할 경우 최고의 성능를 기록했으며, 특히 TMUG와 MMUG가 다국어 이해 및 다국어 간 전이 능력 향상에 기여했다.