[논문 리뷰] Unsupervised Sound Localization via Iterative Contrastive Learning

Yan-Bo Lin, Hung-Yu Tseng외 3명|arXiv (Cornell University)|2021. 04. 01.

Speech and Audio Processing참고 문헌 46인용 수 4

한 줄 요약

이 논문은 훈련 에포크 동안 예측된 소리 나는/소리 나지 않는 영역의 가짜 레이블과 프레임 간 음성 관계를 활용하여 애너테이션 없이 국소화 성능을 향상시키는 반복적 대비 학습을 사용하는 비지도 음성 국소화 프레임워크를 제안한다. 이 방법은 자율 학습 신호만을 사용하여 Flickr-Sound 및 MUSIC-Synthetic 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Sound localization aims to find the source of the audio signal in the visual scene. However, it is labor-intensive to annotate the correlations between the signals sampled from the audio and visual modalities, thus making it difficult to supervise the learning of a machine for this task. In this work, we propose an iterative contrastive learning framework that requires no data annotations. At each iteration, the proposed method takes the 1) localization results in images predicted in the previous iteration, and 2) semantic relationships inferred from the audio signals as the pseudo-labels. We then use the pseudo-labels to learn the correlation between the visual and audio signals sampled from the same video (intra-frame sampling) as well as the association between those extracted across videos (inter-frame relation). Our iterative strategy gradually encourages the localization of the sounding objects and reduces the correlation between the non-sounding regions and the reference audio. Quantitative and qualitative experimental results demonstrate that the proposed framework performs favorably against existing unsupervised and weakly-supervised methods on the sound localization task.

연구 동기 및 목표

• 음성 국소화에 있어 수동으로 음성과 시각 신호를 쌍화하는 것이 인력 소모적인 데서 비롯된 제한된 애너테이션 데이터 문제를 해결하기 위해.
• 사전 정의된 클러스터, 단일 소스 가정 또는 이벤트 수준의 레이블에 의존하는 기존의 약한 지도 학습 및 자율 학습 방법의 한계를 극복하기 위해.
• 모든 진짜 경계 상자나 이벤트 애너테이션 없이도 음성-시각 상호관계를 학습하는 완전한 비지도 프레임워크를 개발하기 위해.
• 음성과 시각 신호 간의 내-프레임(동일 영상 내) 및 간-프레임(다른 영상 간) 관계를 함께 모델링하여 국소화 정확도를 향상시키기 위해.

제안 방법

• 이전 훈련 에포크의 국소화 결과를 현재 에포크에서의 대비 학습을 안내하는 소리 나는 영역 및 소리 나지 않는 영역의 가짜 레이블로 사용한다.
• 동일한 영상 프레임 내에서 예측된 소리 나는 영역을 양성 쌍으로, 소리 나지 않는 영역을 음성 쌍으로 간주하여 내-프레임 샘플링을 적용한다.
• 다른 영상 간의 음성 임베딩을 비교함으로써 간-프레임 관계를 도입한다. 의미적으로 유사한 음성 클립은 양성 쌍으로 간주된다.
• 동일한 영상 내에서 음성과 시각 특징 간의 정렬을 장려하고, 음성 유사성에 기반해 영상 간 정렬을 유도하는 대비 손실 함수를 활용한다.
• 에포크 간에 가짜 레이블과 표현 학습을 반복적으로 개선함으로써 진짜 소리 나는 객체에 점점 더 집중하게 된다.
• 클래스 활성화 맵에서 신뢰할 수 있는 가짜 레이블을 생성하기 위해 특징 정규화와 임계값 처리를 적용한 백본 네트워크(예: MSSL 기반)를 사용한다.

실험 결과

연구 질문

• RQ1 인간이 애너테이션한 데이터나 소리 원천의 수에 대한 사전 가정 없이도 비지도 음성 국소화를 효과적으로 달성할 수 있는가?
• RQ2 이전 에포크의 가짜 레이블을 사용한 반복적 개선이 단일 단계의 대비 학습에 비해 국소화 정확도를 얼마나 향상시키는가?
• RQ3 의미적 유사성에 기반한 간-프레임 음성 관계는 음성-시각 표현 학습에서 영상 간 정렬에 얼마나 기여하는가?
• RQ4 소리 나는 영역뿐 아니라 소리 나지 않는 영역을 함께 모델링하면 모델이 오진 억제 및 배경 잡음 억제 능력이 향상되는가?

주요 결과

• 제안된 반복적 대비 학습 프레임워크는 애너테이션 없이도 Flickr-Sound 및 MUSIC-Synthetic 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 제거 실험을 통해 반복 훈련, 가짜 비소리 영역 사용, 간-프레임 관계 도입 각각이 국소화 성능 향상에 뚜렷한 기여를 한다는 것이 확인된다.
• 그림 6에서 시각화한 바와 같이, 훈련 에포크가 진행될수록 국소화 결과가 점점 진짜 소리 나는 영역에 집중됨을 확인할 수 있으며, 이는 반복적 개선의 효과를 입증한다.
• 음성 기반 검색 결과(그림 7)는 서로 다른 영상 간에 의미적으로 유사한 음성 클립이 실제로 유사한 시각적 장면과 정확히 연결됨을 확인하며, 간-프레임 음성 관계의 유용성을 입증한다.
• 기준 데이터셋에서 공의 IoU 및 AUC 지표 측면에서 기존의 약한 지도 학습 및 비지도 기반 베이스라인보다 성능이 뛰어나다.
• 기존 MSSL 방법의 두 번째 단계를 제안된 비지도 훈련으로 대체함으로써, 이벤트 수준의 레이블 없이도 성능 향상이 크게 이루어진다.