[논문 리뷰] Visually Guided Sound Source Separation and Localization using Self-Supervised Motion Representations

Lingyu Zhu, Esa Rahtu|arXiv (Cornell University)|2021. 04. 17.

Speech and Audio Processing인용 수 7

한 줄 요약

이 논문은 외부 키포인트 검출기나 인간 운동 사전 지식에 의존하지 않고, 외관 및 운동 신호를 별도로 활용하는 자기지도 학습 두 단계형 음성-시각 모델인 AMnet을 제안한다. Audio-Motion Embedding(AME) 프레임워크와 Audio-Motion Transformer(AMT)를 도입함으로써, AMnet은 사전 학습된 키포인트 검출기나 인간 운동 사전 지식 없이도 MUSIC-21과 AVE에서 최고 성능을 달성한다.

ABSTRACT

The objective of this paper is to perform audio-visual sound source separation, i.e.~to separate component audios from a mixture based on the videos of sound sources. Moreover, we aim to pinpoint the source location in the input video sequence. Recent works have shown impressive audio-visual separation results when using prior knowledge of the source type (e.g. human playing instrument) and pre-trained motion detectors (e.g. keypoints or optical flows). However, at the same time, the models are limited to a certain application domain. In this paper, we address these limitations and make the following contributions: i) we propose a two-stage architecture, called Appearance and Motion network (AMnet), where the stages specialise to appearance and motion cues, respectively. The entire system is trained in a self-supervised manner; ii) we introduce an Audio-Motion Embedding (AME) framework to explicitly represent the motions that related to sound; iii) we propose an audio-motion transformer architecture for audio and motion feature fusion; iv) we demonstrate state-of-the-art performance on two challenging datasets (MUSIC-21 and AVE) despite the fact that we do not use any pre-trained keypoint detectors or optical flow estimators. Project page: https://ly-zhu.github.io/self-supervised-motion-representations

연구 동기 및 목표

• 사전 학습된 키포인트 검출기나 인간에 의한 운동을 가정하는 기존 음성-시각 분리 모델의 한계를 해결하기 위해.
• 소리 생성과 직접적으로 연결된 운동 표현을 학습하기 위한 자기지도 학습 방법을 개발하여 다양한 소리 원천 유형으로의 일반화를 가능하게 하기 위해.
• 공유된 임bedding 공간을 통해 음성과 운동 간의 상관관계를 명시적으로 모델링하여 소리 원천의 정밀한 국소화 및 분리를 향상시키기 위해.
• 광학 흐름 또는 사전 학습된 운동 검출기를 사용하지 않고 도전적인 벤치마크(MUSIC-21 및 AVE)에서 최고 성능을 입증하기 위해.

제안 방법

• 외관 및 운동 신호를 별도로 처리하는 전용 단계를 갖는 두 단계 아키텍처인 AMnet을 제안하여 전문화 및 향상된 특징 학습을 가능하게 한다.
• 공유된 임bedding 공간에서 음성과 운동을 정렬함으로써 자기지도 학습 방식으로 운동 표현을 학습하는 Audio-Motion Embedding(AME) 프레임워크를 도입한다.
• 음성과 운동 특징을 효과적으로 융합하기 위해 컨텍스트 인식형 어텐션 기반 융합을 가능하게 하는 Audio-Motion Transformer(AMT) 모듈을 설계한다.
• 사전 학습된 모델에 의존하지 않고, 음성-시각 대비 학습을 통해 전체 시스템을 엔드 투 엔드로 자기지도 학습한다.
• 비디오 키프레임과 스펙트로그램을 입력으로 사용하며, 외관 특징는 스펙트럼 성분을 가중하고 분리용 이진 마스크를 생성하는 데 사용된다.
• 학습된 운동 표현을 분리 외에도 영상 프레임 내에서 소리 원천을 국소화하는 데도 활용한다.

실험 결과

연구 질문

• RQ1 사전 학습된 키포인트 검출기나 광학 흐름 추정기 없이 자기지도 학습된 운동 표현을 효과적으로 학습할 수 있는가?
• RQ2 외관과 운동 처리를 분리하는 두 단계 아키텍처가 통합 처리 대비 음성-시각 분리 성능을 향상시키는가?
• RQ3 광학 흐름이나 동적 이미지 기반 운동 표현보다 음성-운동 임베딩 학습이 소리 원천 국소화 및 분리 성능을 향상시키는가?
• RQ4 외관과 운동 신호의 기여도는 어떻게 비교되며, 효과적으로 융합될 수 있는가?
• RQ5 모델은 인간에 의한 운동을 초월해 악기나 비인간 운동을 보이는 물체와 같은 소리 원천으로 일반화 가능한가?

주요 결과

• AMnet은 MUSIC-21 데이터셋에서 최고 성능을 달성하여 SDR 11.08 dB를 기록하며, 키포인트 기반 SoM 및 COF를 포함한 모든 베이스라인을 능가한다.
• AVE 데이터셋에서 AMnet은 SDR 10.35 dB를 기록하여 이전 최고 성능 모델(SoM)보다 1.21 dB 높게 기록한다.
• 조기 융합 대비 제안된 Audio-Motion Transformer(AMT)를 사용할 경우 SDR가 1.11 dB 향상되어 어텐션 기반 융합의 효과를 입증한다.
• 제거 실험 결과, 두 단계 아키텍처에서 외관과 운동 신호를 융합하면 단일 단계에서 외관 또는 운동만 사용하는 경우보다 SDR가 1.59 dB 향상됨을 확인하였다.
• 동일한 악기(예: 두 개의 첼로)를 분리하는 도전적인 경우에도 AMnet은 첼로에 대해 SDR 2.47 dB를 기록하여 Copy-Paste 베이스라인 및 모든 다른 방법을 능가한다.
• Audio-Motion Embedding(AME) 프레임워크는 그림 1에서 시각화된 바와 같이 정확한 소리 원천 국소화를 가능하게 하며, 운동 신호가 활성 소스를 식별하는 데 기여한다.