[논문 리뷰] CTAL: Pre-training Cross-modal Transformer for Audio-and-Language Representations

Hang Li, Yu Kang외 3명|arXiv (Cornell University)|2021. 09. 01.

Speech Recognition and Synthesis참고 문헌 44인용 수 5

한 줄 요약

CTAL은 대규모 음성-언어 쌍에서 마스킹된 언어 모델링과 마스킹된 크로스모달 음성 모델링을 사용하여 음성 및 언어 표현을 위한 크로스모달 트랜스포머 사전학습 프레임워크를 제안한다. 이를 통해 내부 및 상호 모odal 간 의존성을 동시에 학습하고, 새로운 직교 융합 메커니즘이 파인튜닝 중 특징 보완성을 향상시켜 정서 분류, 감성 분석, 화자 확인 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Existing audio-language task-specific predictive approaches focus on building complicated late-fusion mechanisms. However, these models are facing challenges of overfitting with limited labels and low model generalization abilities. In this paper, we present a Cross-modal Transformer for Audio-and-Language, i.e., CTAL, which aims to learn the intra-modality and inter-modality connections between audio and language through two proxy tasks on a large amount of audio-and-language pairs: masked language modeling and masked cross-modal acoustic modeling. After fine-tuning our pre-trained model on multiple downstream audio-and-language tasks, we observe significant improvements across various tasks, such as, emotion classification, sentiment analysis, and speaker verification. On this basis, we further propose a specially-designed fusion mechanism that can be used in fine-tuning phase, which allows our pre-trained model to achieve better performance. Lastly, we demonstrate detailed ablation studies to prove that both our novel cross-modality fusion component and audio-language pre-training methods significantly contribute to the promising results.

연구 동기 및 목표

• 제한된 레이블된 데이터에서 과적합 및 일반화 성능이 열 劣한 작업별 후기 융합 모델의 한계를 해결하기 위해.
• 모달 간 및 모달 내 의존성을 모두 포괄하는 일반화된, 사전학습 가능한 음성-언어 표현 모델을 개발하기 위해.
• 대규모 음성-언어 쌍에서의 공동 사전학습을 통해 음성 이해 작업의 최종 성능을 향상시키기 위해.
• 파인튜닝 중에 각 모달에 특화된 직교적인 특징 학습을 장려하는 전용 융합 메커니즘 설계를 통해 표현 보완성을 향상시키기 위해.
• 각 구성 요소의 기여도를 분석하기 위해 체계적인 아블레이션 연구를 통해 사전학습 구성 요소와 융합 메커니즘의 효과를 검증하기 위해.

제안 방법

• 텍스트 토큰을 처리하는 언어 스트림과 멜스펙트로그램 및 언어 임베딩을 처리하는 텍스트 기반 음성 스트림을 갖춘 다중 스트림 트랜스포머 백본을 사용한다.
• 공동 표현을 학습하기 위해 마스킹된 언어 모델링(MLM)과 마스킹된 크로스모달 음성 모델링(MCAM)이라는 두 가지 프록시 사전학습 작업을 적용한다.
• 파인튜닝 중에 모달 간 직교 정규화 항목을 적용하여 음성 및 언어 특징가 서로 다른 비중복적 관점에서 기여하도록 보장한다.
• 비대칭 인코더 설계를 도입하여 음성 스트림이 음성 특징과 언어 스트림 임베딩 양쪽 모두를 참조하도록 하여 크로스모달 정렬을 강화한다.
• 파인튜닝 중 제안된 직교 융합 메커니즘을 사용하여 사전학습된 모델을 최종 작업에 적용함으로써 특징 다양성과 성능을 향상시킨다.
• 사전학습에 대규모 음성-언어 쌍 데이터를 활용하며, 각 구성 요소의 기여도를 분리하기 위한 아블레이션 연구를 실시한다.

실험 결과

연구 질문

• RQ1 음성-언어 쌍에서의 공동 사전학습이 최종 음성 이해 작업의 표현 학습에 기여하는가?
• RQ2 마스킹된 언어 모델링과 마스킹된 크로스모달 음성 모델링은 크로스모달 표현 학습에 어떻게 기여하는가?
• RQ3 파인튜닝 중 전용 융합 메커니즘이 직교적이고 보완적인 특징 학습을 장려함으로써 성능 향상에 기여하는가?
• RQ4 MLM 및 MCAM과 같은 사전학습 구성 요소가 최종 모델 성능에 얼마나 기여하는가?
• RQ5 다중모달 작업에서 CTAL은 RoBERTa, Mockingjay 등의 단모달 사전학습 기반 모델보다 어떻게 비교되는가?

주요 결과

• 정서 분류 작업에서 CTAL은 IEMOCAP 데이터셋에서 정확도 0.8055와 EER 0.0155를 기록하여 최신 기술 수준의 성능을 달성한다.
• 감성 분석 작업에서 CTAL-LARGE는 IEMOCAP 데이터셋에서 F1 점수 0.8077과 정확도 0.8101을 기록하여 이전 방법들을 능가한다.
• 화자 확인 작업에서 CTAL-LARGE는 EER 0.0155를 기록하여 베이스라인 RoBERTa(0.0320) 및 기타 모델보다 유의미하게 낮다.
• 아블레이션 연구 결과, 사전학습 중 MLM 또는 MCAM을 제거할 경우 모든 작업에서 성능 저하가 심각하게 발생함을 확인하여 이들의 공동 중요성을 입증한다.
• 직교 융합 메커니즘을 제거할 경우 EER은 1.5–2%, F1은 1–2% 감소하여 그 효과성을 확인한다.
• 더 큰 데이터(예: LibriTTS)로 사전학습을 수행할수록 성능 향상이 나타나며, CTAL-LARGE는 모든 지표에서 CTAL-BASE를 능가한다.