[논문 리뷰] Multiple Sound Sources Localization from Coarse to Fine

Rui Qian, Di Hu외 4명|arXiv (Cornell University)|2020. 07. 13.

Speech and Audio Processing참고 문헌 30인용 수 8

한 줄 요약

이 논문은 제약 조건이 없는 영상에서 다중 음원 국소화를 위한 이단계형 청각시각 학습 프레임워크를 제안한다. 다중 작업 학습과 클래스 활성 맵핑(CAM)을 통해 청각 및 시각 표현을 분리하고, 군집에서부터 세분화된 방식으로 정렬한다. 이는 공개 데이터셋에서 최신 기술 성능(SOTA)을 달성하며, 국소화된 시각적 단서를 활용한 효과적인 음원 분리를 가능하게 한다.

ABSTRACT

How to visually localize multiple sound sources in unconstrained videos is a formidable problem, especially when lack of the pairwise sound-object annotations. To solve this problem, we develop a two-stage audiovisual learning framework that disentangles audio and visual representations of different categories from complex scenes, then performs cross-modal feature alignment in a coarse-to-fine manner. Our model achieves state-of-the-art results on public dataset of localization, as well as considerable performance on multi-source sound localization in complex scenes. We then employ the localization results for sound separation and obtain comparable performance to existing methods. These outcomes demonstrate our model's ability in effectively aligning sounds with specific visual sources. Code is available at https://github.com/shvdiwnkozbw/Multi-Source-Sound-Localization

연구 동기 및 목표

• 쌍별 음원-객체 레이블이 없는 복잡한 제약 조건이 없는 영상에서 다중 음원을 국소화하는 데 도전하는 것.
• 혼잡한 장면에서 다양한 카테고리의 청각 및 시각 표현을 분리하여 정렬을 향상시키는 것.
• 영상 수준의 감독 신호가 너무 군집되어 있는 다중 음원 환경에서 정확한 청각시각 대응을 수립하는 것.
• 클래스별 국소화 성능을 측정할 수 있는 새로운 평가 파이프라인을 개발하는 것.
• 국소화 결과를 활용하여 시각적 가이던스를 통한 효과적인 음원 분리 기술을 개발하는 것.

제안 방법

• 이중 단계 프레임워크를 제안한다: 첫 번째로 다중 작업 학습 설정을 통해 청각시각 분류 및 대응 학습을 동시에 수행한다.
• 클래스 활성 맵핑(CAM)을 적용하여 카테고리별 시각적 특징을 추출함으로써, 복잡한 장면에서 음원 객체를 분리한다.
• 군집에서 세분화된 청각시각 정렬을 수행한다: 카테고리 수준의 대응을 영상 및 카테고리 수준의 연관성으로 개선한다.
• 국소화된 객체에서 유도된 시각 표현을 후행 작업에서 음원 분리의 가이던스로 사용한다.
• 가중치 풀링을 사용하여 혼합 스펙트로그램으로부터 청각 표현을 분리함으로써, 소스별 특징 학습을 향상시킨다.
• 시간적 동기화와 카테고리 수준의 레이블에서 유도된 자기지도 학습을 통해 프레임워크를 종단 간(end-to-end)으로 훈련한다.

실험 결과

연구 질문

• RQ1 일对일 레이블이 없이도 복잡한 장면에서 청각시각 표현을 효과적으로 분리할 수 있는가?
• RQ2 어떻게 군집된 영상 수준의 감독 신호를 활용하여 다중 음원 환경에서 세분화된 음원 국소화를 달성할 수 있는가?
• RQ3 군집에서 세분화된 정렬 전략은 제약 조건이 없는 영상에서 청각시각 대응 정확도를 향상시킬 수 있는가?
• RQ4 국소화 결과는 음원 분리 성능 향상에 어느 정도 기여하는가?
• RQ5 제안된 평가 지표는 기존 베이스라인 대비 다중 음원 국소화 성능을 얼마나 정확하게 반영하는가?

주요 결과

• 제안된 방법은 공개 음원 국소화 데이터셋에서 최신 기술 성능(SOTA)을 달성하며, 특히 다중 음원 환경에서 뛰어난 성능을 보인다.
• AudioSet 레벨-2 벤치마크에서 모델은 음원을 정확히 국소화한다. 예를 들어, 플루트를 정확히 식별하면서도 AVC 및 다중 작업 베이스라인과 달리 하프에 잘못 국소화하지 않는다.
• 시각적 가이던스로 사용되었을 때, 모델의 국소화 결과는 기존 방법과 유사한 음원 분리 성능을 달성한다. 솔로 영상에서는 SDR 6.53, SIR 12.15를 기록하고, 다중 음원(솔로+듀엣) 훈련에서는 SDR 6.57, SIR 11.90를 기록한다.
• 시각 표현 기반 가이던스는 그라디언트-CAM 및 청각 표현 기반 가이던스보다 우수한 성능을 보이며, 저해상도와 제한된 분리 능력으로 인한 문제를 피한다.
• 경쟁 기법보다 더 적은 수의 청각시각 쌍으로도 강력한 성능을 달성하며, 음원 추출을 위한 추가 검출기 없이도 기능한다.
• 제안된 평가 파이프라인은 복잡한 장면에서 클래스별 국소화 성능에 대한 공정하고 세밀한 평가를 가능하게 한다.