[논문 리뷰] Co-Training of Audio and Video Representations from Self-Supervised Temporal Synchronization

Bruno Korbar, Du Tran외 1명|arXiv (Cornell University)|2018. 06. 30.

Music and Audio Processing참고 문헌 27인용 수 52

한 줄 요약

이 논문은 음성과 영상 스트림 간의 시간적 동기화를 인식하도록 모델을 훈련시켜 강력한 음성 및 영상 표현을 학습하는 자기지도 학습 방법을 제안한다. 대조 학습과 교육 곡선 전략, 그리고 신중한 음성 샘플링을 사용하여, 이 방법은 음성 벤치마크에서 최신 기술 수준의 성능을 달성하며, 자기지도 사전 훈련 후 미세조정을 수행했을 때 UCF101에서 +16.7% 및 HMDB51에서 +13.0%의 행동 인식 정확도 향상을 이룬다.

ABSTRACT

There is a natural correlation between the visual and auditive elements of a video. In this work we leverage this connection to learn general and effective features for both audio and video analysis from self-supervised temporal synchronization. We demonstrate that a calibrated curriculum learning scheme, a careful choice of negative examples, and the use of a contrastive loss are critical ingredients to obtain powerful multi-sensory representations from models optimized to discern temporal synchronization of audio-video pairs. Without further finetuning, the resulting audio features achieve performance superior or comparable to the state-of-the-art on established audio classification benchmarks (DCASE2014 and ESC-50). At the same time, our visual subnet provides a very effective initialization to improve the accuracy of video-based action recognition models: compared to learning from scratch, our self-supervised pretraining yields a remarkable gain of +16.7% in action recognition accuracy on UCF101 and a boost of +13.0% on HMDB51.

연구 동기 및 목표

• 음성과 영상 신호 간의 자연스러운 상관관계를 이용해 일반적인 목적의 음성 및 영상 표현을 학습하기 위해.
• 인간이 주석을 달지 않은 데이터 없이도 강력한 다중 감각 특징을 학습하는 데 도전하기 위해.
• 자기지도 사전 훈련을 통해 최종 응용 과제인 음성 및 영상 인식 성능을 향상시키기 위해.
• 음성과 영상 간 시간적 정렬이 표현 학습을 위한 강력한 지도 신호로 기능할 수 있는지 조사하기 위해.

제안 방법

• 모델이 양성(동기화된) 및 음성(비동기화된) 음성-영상 쌍을 구분하도록 대조 손실을 사용한다.
• 교수 곡선 전략을 적용하여 훈련 도중 음성 예제의 난이도를 점차 높인다.
• 음성 샘플은 의미적으로 관련성이 있지만 시간적으로 잘못 정렬된 것을 신중히 선택하여 특징의 구분 능력을 향상시킨다.
• 모델은 음성 및 영상 인코더를 동시에 최적화하며, 대조 학습을 위한 공통의 프로젝션 헤드를 공유한다.
• 시간적 동기화가 자기지도 지도 신호로 사용되어 수동 주석의 필요성을 제거한다.
• 이 방법은 원시 영상 및 음성 입력만을 사용하여 음성 및 영상 인코더의 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 음성과 영상 간 시간적 동기화가 일반 표현을 학습하는 데 효과적인 자기지도 지도 신호로 기능할 수 있는가?
• RQ2 교수 곡선 전략이 자기지도 학습된 음성-영상 표현의 품질에 어떤 영향을 미치는가?
• RQ3 음성 샘플링 전략이 음성-영상 표현 학습에서 대조 학습 성능에 어떤 영향을 미치는가?
• RQ4 자기지도 사전 훈련이 최종 행동 인식 및 음성 분류 정확도 향상에 얼마나 기여하는가?
• RQ5 학습된 음성 및 영상 특징은 표준 벤치마크에서 최신 기술 수준의 방법과 비교해 어떻게 되는가?

주요 결과

• 자기지도 학습된 음성 특징는 DCASE2014 및 ESC-50 음성 분류 벤치마크에서 최신 기술 수준의 성능을 초월하거나 이를 상회한다.
• 자기지도 사전 훈련을 통해 학습된 시각적 특징는 사전 훈련 없이 훈련하는 것에 비해 UCF101에서 행동 인식 정확도를 +16.7% 향상시킨다.
• 사전 훈련된 시각적 특징를 사용해 미세조정을 수행했을 때 HMDB51에서 정확도가 +13.0% 향상된다.
• 대조 손실, 교수 곡선 전략, 그리고 신중한 음성 샘플링의 조합이 뛰어난 성능을 달성하는 데 핵심적이다.
• 이 방법은 잘 일반화되어 있어, 어떤 작업 전용 미세조정 없이도 강력한 제로샷 전이 성능을 제공한다.
• 결과는 시간적 정렬이 영상에서 다중 감각 표현 학습을 위한 강력한 신호임을 입증한다.