[논문 리뷰] Self-Supervised Predictive Learning: A Negative-Free Method for Sound Source Localization in Visual Scenes

Zengjie Song, Yuxi Wang외 3명|arXiv (Cornell University)|2022. 03. 25.

Speech and Audio Processing인용 수 13

한 줄 요약

이 논문은 음성 소스 위치 추정을 위한 자기지도 학습 예측 학습 방법을 제안하며, 음성 소스 위치 추정에 음성 샘플을 사용하지 않는다. 이는 시간적 일관성과 표현 정제를 활용하여 음성-시각 위치 추정 벤치마크에서 최신 기술 수준의 성능을 달성하는 이중 경로 네트워크를 사용한다. 이중 경로 네트워크에는 피드백과 피드포워드 프로세스가 포함되어 있으며, 시각적 표현에서 음성 특징을 예측한다.

ABSTRACT

Sound source localization in visual scenes aims to localize objects emitting the sound in a given image. Recent works showing impressive localization performance typically rely on the contrastive learning framework. However, the random sampling of negatives, as commonly adopted in these methods, can result in misalignment between audio and visual features and thus inducing ambiguity in localization. In this paper, instead of following previous literature, we propose Self-Supervised Predictive Learning (SSPL), a negative-free method for sound localization via explicit positive mining. Specifically, we first devise a three-stream network to elegantly associate sound source with two augmented views of one corresponding video frame, leading to semantically coherent similarities between audio and visual features. Second, we introduce a novel predictive coding module for audio-visual feature alignment. Such a module assists SSPL to focus on target objects in a progressive manner and effectively lowers the positive-pair learning difficulty. Experiments show surprising results that SSPL outperforms the state-of-the-art approach on two standard sound localization benchmarks. In particular, SSPL achieves significant improvements of 8.6% cIoU and 3.4% AUC on SoundNet-Flickr compared to the previous best. Code is available at: https://github.com/zjsong/SSPL.

연구 동기 및 목표

• 음성 샘플이 필요 없는 자기지도 학습 프레임워크를 개발하여 음향 소스 위치 추정을 수행한다.
• 음성-시각 시퀀스의 시간적 일관성을 활용하여 정확도를 향상시킨다.
• 피드백 및 피드포워드 처리를 통한 이중 경로 아키텍처를 설계하여 음성-시각 표현 학습을 통합한다.
• 대규모 레이블링 데이터에 의존도를 줄이기 위해 끝에서 끝까지의 학습을 가능하게 하며, 양성 신호 예측에만 의존한다.

제안 방법

• 모델은 각 시간 단계 t에서 시각적 표현 f_v를 사용하여 음성 특징 f_a를 예측하는 피드백 루프를 사용한다.
• 각 레이어 l에서, 모델은 시각적 표현 f_v와 학습된 변환을 기반으로 예측 p_l(t)를 계산한다.
• 피드백 메커니즘을 사용하여 다중 레이어를 거쳐 특징을 정제함으로써 표현 r_l(t)를 반복적으로 업데이트한다.
• 피드포워드 패스는 변환 ϕ와 가중치 행렬 W_{l,l-1}을 사용하여 예측된 특징과 실제 음성 특징 간의 오차 e_{l-1}(t)를 계산한다.
• 피드백(1에서 L로)과 피드포워드(L에서 1로) 처리를 번갈아가며 레이어 간 표현을 정제한다.
• 모델은 음성 샘플이 없는 양성 신호 예측에만 의존하므로, 음성 대비 예측 샘플이 필요 없다.

실험 결과

연구 질문

• RQ1 음성 샘플을 사용하지 않고도 자기지도 학습 방법이 경쟁적인 음향 소스 위치 추정을 달성할 수 있는가?
• RQ2 피드백 기반 표현 정제가 시간적 시퀀스에서 음성-시각 정렬을 어떻게 향상시키는가?
• RQ3 이중 경로(피드백/피드포워드) 처리 방식이 위치 추정 정확도에 어떤 영향을 미치는가?
• RQ4 저감독 또는 약한 감독 설정에서 모델의 성능은 어떠한가?

주요 결과

• 이 방법은 음성 샘플을 사용하지 않고도 음성-시각 위치 추정 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 피드백 메커니즘이 다중 레이어를 거쳐 특징을 정제함으로써 표현 품질을 크게 향상시킨다.
• 시간적 일관성 학습 덕분에 새로운 음성-시각 시나리오에 대해 강력한 일반화 성능을 보인다.
• 음성 샘플이 없어 학습이 단순화되고 계산 오버헤드가 감소하나, 높은 정확도를 유지한다.