[논문 리뷰] Sep-Stereo: Visually Guided Stereophonic Audio Generation by Associating Source Separation

Hang Zhou, Xudong Xu외 3명|arXiv (Cornell University)|2020. 07. 20.

Speech and Audio Processing참고 문헌 50인용 수 13

한 줄 요약

이 논문은 원천 분리 문제를 극단적인 공간 음향 생성의 특수 케이스로 간주함으로써, 스테레오 음향 생성과 음원 분리를 동시에 학습하는 통합된 딥러닝 프레임워크인 Sep-Stereo를 제안한다. 음향-시각 특징 융합을 위한 연관 피라미드 네트워크(associative pyramid network)를 갖춘 공통 백본을 사용하여, 풍부한 단음 음향 데이터를 활용해 이명리스 음향 합성 성능을 향상시켰으며, 스테레오 학습 데이터의 67%만으로도 최신 기술 수준의 성능을 달성하면서도 분리 정확도는 경쟁 수준을 유지한다.

ABSTRACT

Stereophonic audio is an indispensable ingredient to enhance human auditory experience. Recent research has explored the usage of visual information as guidance to generate binaural or ambisonic audio from mono ones with stereo supervision. However, this fully supervised paradigm suffers from an inherent drawback: the recording of stereophonic audio usually requires delicate devices that are expensive for wide accessibility. To overcome this challenge, we propose to leverage the vastly available mono data to facilitate the generation of stereophonic audio. Our key observation is that the task of visually indicated audio separation also maps independent audios to their corresponding visual positions, which shares a similar objective with stereophonic audio generation. We integrate both stereo generation and source separation into a unified framework, Sep-Stereo, by considering source separation as a particular type of audio spatialization. Specifically, a novel associative pyramid network architecture is carefully designed for audio-visual feature fusion. Extensive experiments demonstrate that our framework can improve the stereophonic audio generation results while performing accurate sound separation with a shared backbone.

연구 동기 및 목표

• 풍부한 레이블이 없는 단음 음향 데이터를 활용하여 레이블이 부족한 스테레오 음향 데이터 문제를 해결하고, 더 나은 음향 생성 성능을 향상시키기 위해.
• 공유된 표현 학습을 통해 스테레오 음향 생성과 원천 분리를 하나의 프레임워크로 통합하기 위해.
• 단음 데이터로 사전 훈련하고 제한된 스테레오 데이터로 미세조정하여 저자료 환경에서의 일반화 성능을 향상시키기 위해.
• 새로운 연관 특징 융합 메커니즘을 통해 더 효율적이고 해석 가능한 음향-시각 연관을 가능하게 하기 위해.

제안 방법

• 프레임워크는 원천 분리를 이명리스 음향 생성의 특수 케이스로 간주하며, 원천이 시각적 인지의 끝부분에 국한된 것으로 간주한다.
• 학습 가능한 연관-컨볼루션 연산을 사용해 시각적 특징과 스펙트로그램 반응을 명시적으로 연관시키기 위해 연관 피라미드 네트워크(APNet)를 제안한다.
• 두 개의 별도 헤드를 사용한 다중 작업 학습: 하나는 FAIR-Play 데이터셋을 사용한 스테레오 음향 생성, 다른 하나는 MUSIC 데이터셋을 사용한 원천 분리.
• 공통 백본이 양방향 모odal을 처리함으로써 파rameter 효율성과 작업 간 공동 최적화를 가능하게 한다.
• 시각적 영역의 주목할 만한 영역을 해당 음향 에너지 반응에 매핑함으로써 음향-시각 정렬을 강제한다.
• 단음 및 스테레오 데이터를 모두 사용하여 스테레오 복원 손실과 분리 손실의 조합으로 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 원천 분리를 극단적인 공간 음향 생성의 한 형태로 효과적으로 재해석할 수 있는가?
• RQ2 공유된 표현을 사용해 스테레오 음향 생성과 원천 분리를 동시에 최적화할 수 있는 통합 프레임워크를 설계할 수 있는가?
• RQ3 대규모 단음 음향 데이터로 사전 훈련하면 저자료 스테레오 음향 생성에서 성능과 일반화 능력이 향상되는가?
• RQ4 제안된 음향-시각 연관 융합 메커니즘이 시각적 신호를 공간 음향 특징과 효과적으로 정렬하는가?

주요 결과

• 제안된 Sep-Stereo 프레임워크는 FAIR-Play 데이터셋의 학습 데이터의 67%만을 사용함에도 불구하고 최신 기술 수준의 스테레오 음향 생성 모델과 유사한 성능을 달성한다.
• 모델은 원천 분리 작업에서도 경쟁 수준의 성능을 유지하며, 공통 백본이 효과적으로 분리된 원천 표현을 포착하고 있음을 보여준다.
• 사용자 연구 결과, 60%의 참가자가 음향-시각 일치 품질 측면에서 기준 모델인 Mono2Binaural보다 생성된 음향을 선호했다.
• 대규모 단음 음향 데이터로 사전 훈련했기 때문에, 분포 외부 또는 실제 환경의 단음 시나리오에 더 잘 일반화된다.
• 시각적 주목 영역(예: 악기, 사람 등)을 효과적으로 인식함을 보여주는 시각화 결과는 효과적인 음향-시각 기반 정합을 의미한다.
• 상대적 성능 향상 곡선은 다양한 데이터 규모에서 일관된 향상 추세를 보이며, 저자료 조건에서의 강건성을 확인한다.