[논문 리뷰] 2.5D Visual Sound

Ruohan Gao, Kristen Grauman|arXiv (Cornell University)|2018. 12. 11.

Speech and Audio Processing참고 문헌 53인용 수 4

한 줄 요약

이 논문은 단일 채널 음성 신호를 비디오에서 얻은 시각적 단서를 이용해 입체 음성 신호로 변환하는 2.5차원 시각적 음성 프레임워크를 제안한다. 깊이 컨볼루션 신경망을 활용해 시각적 장면 구성으로부터 공간 음성 정보를 추론한다. 이 방법은 자기지도 학습 기반의 음성-시각 표현 학습을 가능하게 하여 입체 음성 합성과 음성-시각 소스 분리 성능을 향상시킨다.

ABSTRACT

Binaural audio provides a listener with 3D sound sensation, allowing a rich perceptual experience of the scene. However, binaural recordings are scarcely available and require nontrivial expertise and equipment to obtain. We propose to convert common monaural audio into binaural audio by leveraging video. The key idea is that visual frames reveal significant spatial cues that, while explicitly lacking in the accompanying single-channel audio, are strongly linked to it. Our multi-modal approach recovers this link from unlabeled video. We devise a deep convolutional neural network that learns to decode the monaural (single-channel) soundtrack into its binaural counterpart by injecting visual information about object and scene configurations. We call the resulting output 2.5D visual sound---the visual stream helps lift the flat single channel audio into spatialized sound. In addition to sound generation, we show the self-supervised representation learned by our network benefits audio-visual source separation. Our video results: this http URL

연구 동기 및 목표

• 입체 음성 녹음의 부족 문제를 해결하기 위해 단방향 음성을 자동으로 공간화된 입체 음성으로 변환하는 것.
• 단일 채널 음성에서 누락된 공간 정보를 복구하기 위해 시각 프레임을 암묵적 공간 단서로 활용하는 것.
• 라벨이 없는 비디오 데이터로부터 자기지도 학습 기반의 음성-시각 표현을 학습하여 후속 음성 작업의 성능을 향상시키는 것.
• 시각 정보가 평평한 단방향 음성을 인지적으로 풍부한 3차원 음성으로 효과적으로 '높일' 수 있음을 입증하는 것.

제안 방법

• 단방향 음성과 해당 비디오 프레임을 입체 음성 출력으로 매핑하기 위해 깊이 컨볼루션 신경망을 훈련하는 것.
• 객체 위치 및 장면 기하학 등 비디오 프레임의 시각적 특징을 음성 합성 과정에 조건화하는 것.
• 음성과 비디오 간의 시간적 정렬을 활용해 자기지도 방식으로 통합된 음성-시각 표현을 학습하는 것.
• 교차 모달 어텐션 또는 특징 융합 기반 메커니즘을 통해 시각적 공간 단서를 음성 네트워크에 통합하여 입체 렌더링을 유도하는 것.
• 예측된 입체 음성과 진짜 입체 음성 간의 재구성 손실(가용한 경우)과 음성-시각 대비 학습을 통한 자기지도 학습을 최적화하는 것.
• 학습된 음성-시각 특징을 후속 작업(예: 음성-시각 소스 분리)에 활용하는 것.

실험 결과

연구 질문

• RQ1 비디오에서 얻은 시각 정보가 단방향 음성의 공간 음성 특성을 효과적으로 추론하는 데 사용될 수 있는가?
• RQ2 자기지도 모델이 라벨이 없는 비디오 데이터로부터 의미 있는 음성-시각 표현을 어느 정도 학습할 수 있는가?
• RQ3 제안된 2.5차원 시각적 음성 방법이 미리 보지 않은 음성-시각 장면에 얼마나 잘 일반화되는가?
• RQ4 학습된 표현이 음성-시각 소스 분리 작업의 성능을 향상시키는 데 기여하는가?

주요 결과

• 제안된 방법은 비디오만을 입력으로 사용하여 단방향 입력에서 인지적으로 설득력 있는 입체 음성을 성공적으로 생성한다.
• 네트워크가 학습한 자기지도 표현은 음성-시각 소스 분리 작업의 성능을 향상시킨다.
• 객체 위치 및 장면 레이아웃과 같은 시각 단서는 생성된 입체 음성의 공간적 현실감을 크게 향상시킨다.
• 모델은 새로운 음성-시각 쌍에 대해 잘 일반화되며, 장면 구성과 음성 콘텐츠의 변형에 대해 강건함을 보였다.