[논문 리뷰] Distilling Audio-Visual Knowledge by Compositional Contrastive Learning

Yanbei Chen, Yongqin Xian외 3명|arXiv (Cornell University)|2021. 04. 22.

Multimodal Machine Learning Applications참고 문헌 64인용 수 4

한 줄 요약

이 논문은 이질적인 오디오, 이미지, 비디오 표현 간의 의미 격차를 메우기 위해 복합 임베딩을 학습함으로써 비디오 표현 학습을 향상시키는 새로운 지식 정복 프레임워크인 복합 대비 학습(Compositional Contrastive Learning, CCL)을 제안한다. CCL은 공유된 잠재 공간에서 클래스 인식 감독 하에 공동 대비 학습을 수행함으로써 UCF101, ActivityNet, VGGSound에서 최신 기법들을 초월하며, 비디오 인식에서 최대 4.5%의 정확도 향상을 달성한다.

ABSTRACT

Having access to multi-modal cues (e.g. vision and audio) empowers some cognitive tasks to be done faster compared to learning from a single modality. In this work, we propose to transfer knowledge across heterogeneous modalities, even though these data modalities may not be semantically correlated. Rather than directly aligning the representations of different modalities, we compose audio, image, and video representations across modalities to uncover richer multi-modal knowledge. Our main idea is to learn a compositional embedding that closes the cross-modal semantic gap and captures the task-relevant semantics, which facilitates pulling together representations across modalities by compositional contrastive learning. We establish a new, comprehensive multi-modal distillation benchmark on three video datasets: UCF101, ActivityNet, and VGGSound. Moreover, we demonstrate that our model significantly outperforms a variety of existing knowledge distillation methods in transferring audio-visual knowledge to improve video representation learning. Code is released here: https://github.com/yanbeic/CCL.

연구 동기 및 목표

• 비제약 조건 하에서 이질적이고 상관관계가 없는 오디오 및 시각 모odal 간의 지식 전달 문제를 해결하기 위해.
• 모달 간 시간적 또는 의미적으로 정렬되지 않은 단모달 교사(오디오, 이미지, 비디오)와 비디오 학생 네트워크 사이의 다중 모달 의미 격차를 해소하기 위해.
• 모달 특화 정렬이 필요 없이 다양한 데이터셋과 작업에 적용 가능한 일반적이고 통합된 다중 모달 정복 프레임워크를 개발하기 위해.
• UCF101, ActivityNet, VGGSound에서 다중 모달 정복을 위한 종합적 벤치마크를 구축하여 정복 기법 간 공정한 비교를 가능하게 하기 위해.
• 클래스 레이블과 복합 임베딩을 사용해 모달 간 공동 대비 학습을 수행할 경우, 기존의 대비 또는 정복 기반 방법보다 더 정보적인 지식 전달이 가능함을 입증하기 위해.

제안 방법

• 다양한 모달의 표현을 공유 잠재 공간으로 매핑하기 위해 학습 가능한 복합 임베딩을 도입하여 다중 모달 의미 격차를 효과적으로 감소시킨다.
• 클래스 레이블을 사용해 정렬을 이끄는 다중 클래스 대비 손실(NCE)을 활용하여 모달 간의 양성 및 음성 샘플을 대비한다.
• 학생 및 교사 네트워크의 예측 분포를 정렬하기 위해 젠센-쇼넬 분산(Jensen-Shannon divergence, JSD) 손실을 사용하여 출력 공간에서의 지식 전달을 보장한다.
• 복합 대비 손실과 JSD 손실을 공동 최적화하여 특징 공간과 예측 공간 양쪽에서 동시 정렬을 가능하게 한다.
• 이 방법은 일반적이고 모듈식이며, 예를 들어 이미지의 경우 ImageNet, 오디오의 경우 LibriSpeech에서 사전 학습된 교사 네트워크를 아키텍처 제약 없이 통합할 수 있다.
• 이 방법은 비디오 인식 및 검색 작업에 모두 적용되며, 세 가지 벤치마크 데이터셋에서 광범위한 추론 및 분석을 수행한다.

실험 결과

연구 질문

• RQ1 복합 대비 학습이 이질적이고 상관관계가 없는 오디오 및 시각 모달에서 비디오 표현 학습으로 지식을 효과적으로 전달할 수 있는가?
• RQ2 대비 학습 목표에 클래스 레이블을 도입할 경우, 인스턴스 수준의 대비 학습에 비해 다중 모달 지식 정복이 어떻게 향상되는가?
• RQ3 특징 공간과 예측 공간에서의 공동 제약(NCE 및 JSD 손실을 통해)이 지식 전달을 어떻게 상호보완적으로 향상시키는가?
• RQ4 오디오 및 비디오가 의미적으로나 시간적으로 정렬되지 않은 현실적인 조건에서 모델의 성능은 어떠한가?
• RQ5 모달 간 상관관계가 없을 경우 복합 임베딩이 다중 모달 의미 격차를 얼마나 효과적으로 메우는가?

주요 결과

• CCL은 UCF101(A) 설정에서 인스턴스 수준의 대비 손실 기반 베이스라인(60.4% 대비 64.9%)에 비해 4.5%p의 절대 정확도 향상을 달성하여, 클래스 인식 대비 학습의 유용성을 입증한다.
• NCE 또는 JSD 손실을 제거할 경우 성능 저하가 심각하게 발생하며, 각각 1.8%와 1.7% 감소함을 확인하여 두 손실이 상호보완적이고 효과적인 정복을 위해 필수적임을 시사한다.
• NCE 손실을 제거했을 경우 (AI) 설정에서 정확도가 3.7%p 감소(70.0%에서 66.3%)함을 통해 NCE 손실이 특징 수준 정렬에서 핵심적인 역할을 함을 확인한다.
• qualitative t-SNE 시각화 결과 CCL은 분류 기반으로 분리된 비디오 표현을 학습하며, 훈련 및 테스트 세트의 임베딩이 일관되고 군집된 다각형을 형성함을 보여준다.
• k-NN 검색에서 CCL은 같은 또는 유사한 동작 클래스의 비디오를 성공적으로 검색하며, 예를 들어 '아이스 댄싱'과 '눈 마크업을 바르는 것' 비디오를 해당 쿼리에 대해 검색할 수 있다.
• 시각적 분석을 통해 오디오와 비디오 간 의미적 상관관계가 없을 경우에도 복합 임베딩 메커니즋试 덕분에 CCL이 잘 일반화됨을 확인할 수 있다.