[논문 리뷰] Geometry-Aware Multi-Task Learning for Binaural Audio Generation from Video

Rishabh Garg, Ruohan Gao외 1명|arXiv (Cornell University)|2021. 11. 21.

Speech and Audio Processing인용 수 12

한 줄 요약

이 논문은 실내 환경의 음향 특성(예: 방 임펄스 응답, 소리원의 공간적 정렬, 물체 위치의 시간적 일관성 등)을 활용하여 단음성 영상 음성에서 현실적인 이앙 음성으로 변환하는 기하학적 인지 다중작업 학습 프레임워크를 제안한다. 영상에서 공간적 및 기하학적 특징을 명시적으로 모델링함으로써, 실제 및 시뮬레이션된 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, 새로운 대규모 사진 실사적 이앙 영상 데이터셋인 SimBinaural을 포함한다.

ABSTRACT

Binaural audio provides human listeners with an immersive spatial sound experience, but most existing videos lack binaural audio recordings. We propose an audio spatialization method that draws on visual information in videos to convert their monaural (single-channel) audio to binaural audio. Whereas existing approaches leverage visual features extracted directly from video frames, our approach explicitly disentangles the geometric cues present in the visual stream to guide the learning process. In particular, we develop a multi-task framework that learns geometry-aware features for binaural audio generation by accounting for the underlying room impulse response, the visual stream's coherence with the sound source(s) positions, and the consistency in geometry of the sounding objects over time. Furthermore, we introduce a new large video dataset with realistic binaural audio simulated for real-world scanned environments. On two datasets, we demonstrate the efficacy of our method, which achieves state-of-the-art results.

연구 동기 및 목표

• 대부분의 영상에서 이앙 음성이 부족한 문제를 해결하기 위해, 시각적 단서를 활용한 단음성에서 이앙 음성으로의 변환을 가능하게 한다.
• 방 임펄스 응답(RIR), 소리원 정렬, 물체 위치의 시간적 일관성과 같은 기하학적 요소를 명시적으로 모델링하여 공간 음성의 현실감을 향상시킨다.
• 훈련 및 평가를 위한 이앙 음성 시뮬레이션을 포함한 대규모 사진 실사적 영상 데이터셋을 구축한다.
• 기하학적 및 공간 제약 조건을 명시적으로 모델링할 경우, 암묵적인 시각적 특징 학습보다 더 나은 음성 생성 성능을 낼 수 있음을 입증한다.

제안 방법

• 영상 특징에서 방 임펄스 응답(RIR) 예측, 시각적 및 음성 소스 간의 공간 일관성 확보, 영상 프레임 간 소스 기하학적 일관성 강화를 위한 세 가지 목표를 동시에 최적화하는 다중작업 학습 프레임워크를 도입한다.
• 영상 프레임에서 특징을 추출하기 위해 공유된 시각 인코더를 사용하며, RIR 예측, 공간 정렬, 기하학적 일관성 모델링에 특화된 태스크별 헤드를 적용한다.
• 시각적 특징이 RIR 파라미터(예: 초기 반사, 감쇠 시간)를 예측하고, 장면 내 소리원 방향과 일치하도록 유도하는 손실 함수를 통합한다.
• 시간적 매끄러움을 확보하기 위해 소스 기하학적 일관성을 시간에 따라 모델링함으로써, 청취자에게 소스 위치가 급격히 이동하는 것처럼 느껴지는 것을 방지한다.
• 훈련 및 평가를 위해 3D 스캔된 실내 환경와 함께 현실적인 이앙 음성 시뮬레이션을 포함한 새로운 데이터셋인 SimBinaural을 활용한다.
• 자기지도 학습 및 지도 학습 신호의 조합을 통해 모델을 엔드 투 엔드로 훈련시키며, 데이터 증강 및 대비 학습 구성 요소를 통합하여 특징 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 방 음향 및 소스 위치와 같은 기하학적 단서를 명시적으로 모델링하면 영상에서의 단음성에서 이앙 음성으로의 변환 성능이 향상되는가?
• RQ2 시각적 소스와 음성 소스 간의 공간 일관성을 강제로 적용할 경우, 생성된 이앙 음성의 현실감과 정확도에 어떤 영향을 미치는가?
• RQ3 소스의 시간적 기하학적 일관성이 영상 시퀀스에서의 음성 생성 품질에 얼마나 기여하는가?
• RQ4 시뮬레이션된 이앙 음성을 포함한 대규모 사진 실사적 데이터셋은 실제 영상 벤치마크에서 일반화 능력과 성능 향상에 기여하는가?

주요 결과

• FAIR-Play 벤치마크에서 제안된 방법은 최신 기술 수준의 모델들을 능가하며, 지도된 RIR 정보 없이도 PESQ 점수 1.175와 STOI 점수 0.154를 기록하였다.
• SimBinaural과 FAIR-Play를 함께 훈련시킨 결과, 겹치지 않는 테스트 분할에서 최고의 성능을 기록하여 합성 데이터셋의 일반화 능력을 입증하였다.
• 사용자 연구 결과, 청취자들이 제안된 방법을 베이스라인보다 소리 방향 정확도(좌/우/중앙)와 이앙 음성의 실감성 측면에서 선호하는 것으로 나타났다.
• t-SNE 시각화 결과, 제안된 방법의 시각적 특징이 RT60와 같은 음향 파라미터를 예측하는 데 유의미한 정보를 포함하고 있음을 확인하였으며, 베이스라인 방법은 무작위 분포를 보였다.
• 활성화 맵 분석 결과, 제안된 방법은 APNet보다 소리가 나는 물체를 더 정확하게 국소화하는 것으로 나타났으며, APNet는 확산되고 덜 집중된 주의를 보였다.
• 제거 실험 결과, RIR 예측, 공간 일관성, 기하학적 일관성의 세 가지 손실을 모두 조합할 경우 최고의 성능를 기록하여 다중작업 설계의 타당성을 입증하였다.