[논문 리뷰] Does Visual Self-Supervision Improve Learning of Speech Representations?

Abhinav Shukla, Stavros Petridis외 1명|arXiv (Cornell University)|2020. 05. 04.

Speech and Audio Processing참고 문헌 30인용 수 5

한 줄 요약

이 논문은 얼굴 복원을 통한 시각적 자기지도 학습을 통해 음성 표현 학습을 향상시키고, 음성 전용 자기지도 학습 방법 두 가지를 제안하며, 시각적 및 음성적 자기지도 학습을 조합하면 더 풍부하고 강건한 음성 표현을 얻을 수 있음을 보여준다. 이는 특히 소규모 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Self-supervised learning has attracted plenty of recent research interest. However, most works are typically unimodal and there has been limited work that studies the interaction between audio and visual modalities for self-supervised learning. This work (1) investigates visual self-supervision via face reconstruction to guide the learning of audio representations; (2) proposes two audio-only self-supervision approaches for speech representation learning; (3) shows that a multi-task combination of the proposed visual and audio self-supervision is beneficial for learning richer features that are more robust in noisy conditions; (4) shows that self-supervised pretraining leads to a superior weight initialization, which is especially useful to prevent overfitting and lead to faster model convergence on smaller sized datasets. We evaluate our audio representations for emotion and speech recognition, achieving state of the art performance for both problems. Our results demonstrate the potential of visual self-supervision for audio feature learning and suggest that joint visual and audio self-supervision leads to more informative speech representations.

연구 동기 및 목표

• 얼굴 복원을 통한 시각적 자기지도 학습이 음성 표현 학습을 향상시키는지 탐구하기.
• 음성 표현 학습을 위한 두 가지 새로운 음성 전용 자기지도 학습 방법 개발하기.
• 시각적 및 음성적 자기지도 학습의 조합이 특징 품질과 강건성 향상에 효과적인지 평가하기.
• 자기지도 사전학습이 특히 소규모 데이터셋에서 더 나은 모델 초기화를 이끌어내는지 평가하기.
• 음성 및 정서 인식 작업에서 최신 기술 수준(SOTA)의 성능 달성하기.

제안 방법

• 음성에 의해 유도되는 시각적 특징에서 얼굴 복원을 통해 시각적 자기지도 학습 신호를 생성하여 음성 표현 학습을 안내한다.
• 시각 데이터가 필요 없이 음성 표현 학습을 향상시키기 위해 두 가지 음성 전용 자기지도 학습 목표를 제안한다.
• 다중 작업 학습 프레임워크를 통해 시각적 및 음성적 자기지도 학습을 통합하여 음성 표현을 동시에 최적화한다.
• 제안된 자기지도 학습 신호를 사용하여 음성 인코더를 대비 학습 목표로 사전학습한다.
• 사전학습된 음성 표현을 최종 음성 및 정서 인식 작업에 맞게 미세조정한다.
• 모odal별 헤드를 갖춘 공유 인코더 아키텍처를 사용하여 시각적 및 음성 신호의 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 얼굴 복원을 통한 시각적 자기지도 학습이 학습된 음성 표현의 품질을 향상시킬 수 있는가?
• RQ2 제안된 음성 전용 자기지도 학습 방법은 시각적 자기지도 학습 대비 표현 품질 측면에서 어떻게 비교되는가?
• RQ3 시각적 및 음성적 자기지도 학습을 조합하면 더 강건하고 일반화 능력이 뛰어난 음성 표현을 얻을 수 있는가?
• RQ4 자기지도 사전학습이 특히 소규모 데이터셋에서 모델 수렴 및 일반화 능력을 어느 정도 향상시키는가?
• RQ5 제안된 방법이 음성 및 정서 인식 작업에서 최신 기술 수준(SOTA)의 성능을 달성할 수 있는가?

주요 결과

• 시각적 및 음성적 자기지도 학습의 조합은 특히 노이즈 조건에서 더 정보가 풍부하고 강건한 음성 표현을 이끌어낸다.
• 자기지도 사전학습은 더 나은 가중치 초기화를 제공하여 소규모 데이터셋에서 과적합을 줄이고 수렴 속도를 높인다.
• 제안된 음성 전용 자기지도 학습 방법은 시각 데이터 없이도 표현 학습을 향상시킨다.
• 얼굴 복원을 통한 시각적 자기지도 학습은 음성 표현 학습을 효과적으로 안내하며, 특징 품질을 향상시킨다.
• 다중 작업 접근법은 음성 인식 및 정서 인식 작업 모두에서 최신 기술 수준(SOTA)의 성능을 달성한다.
• 결과는 시각적 및 음성적 자기지도 학습을 통합함으로써 더 풍부한 음성 표현을 학습할 잠재력을 보여준다.