[논문 리뷰] Audio-Visual Event Localization via Recursive Fusion by Joint Co-Attention

Bin Duan, Hao Tang외 4명|arXiv (Cornell University)|2020. 08. 14.

Music and Audio Processing참고 문헌 45인용 수 4

한 줄 요약

이 논문은 청각-시각 이벤트 로컬라이제이션을 위한 재귀적 공동 공감각 메커니즘을 제안하며, 반복적인 다중모odal 공감각을 통해 청각 및 시각 특징을 융합하여 표현 학습을 향상시킨다. 융합 과정에서 양 모odal을 동시에 고려함으로써, 모델은 AVE 데이터셋에서 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성한다. 이는 명시적인 배경 필터링이 필요 없이 더욱 견고하고 상호 강화된 특징 학습을 통해 달성된다.

ABSTRACT

The major challenge in audio-visual event localization task lies in how to fuse information from multiple modalities effectively. Recent works have shown that attention mechanism is beneficial to the fusion process. In this paper, we propose a novel joint attention mechanism with multimodal fusion methods for audio-visual event localization. Particularly, we present a concise yet valid architecture that effectively learns representations from multiple modalities in a joint manner. Initially, visual features are combined with auditory features and then turned into joint representations. Next, we make use of the joint representations to attend to visual features and auditory features, respectively. With the help of this joint co-attention, new visual and auditory features are produced, and thus both features can enjoy the mutually improved benefits from each other. It is worth noting that the joint co-attention unit is recursive meaning that it can be performed multiple times for obtaining better joint representations progressively. Extensive experiments on the public AVE dataset have shown that the proposed method achieves significantly better results than the state-of-the-art methods.

연구 동기 및 목표

• 노이즈가 많거나 관련이 없는 특징이 성능을 떨어뜨릴 수 있는 청각-시각 이벤트 로컬라이제이션에서의 효과적 다중모달 융합 문제를 해결하기 위해.
• 청각 및 시각 모달 간의 상호작용을 통해 표현 품질을 향상시키기 위한 이중적, 공동 공감각 융합 메커니즘을 개발하기 위해.
• 수동적 배경 필터링에 대한 의존도를 줄이기 위해, 점진적으로 개선되는 공동 표현을 정교화하는 자기지도형, 재귀적 공감각 메커니즘을 설계하기 위해.
• 조기 및 후기 융합 전략을 공감각과 통합하여 청각-시각 시퀀스의 국소적 및 전역적 시간적 의존성을 모두 포착하기 위해.

제안 방법

• 이 방법은 이중 융합 전략을 사용한다: Bi-LSTM 처리 이전에 청각 유도 공감각을 통한 조기 융합을 수행한 후, 재귀적 공동 공감각(JCA) 메커니즘을 사용한 후기 융합을 수행한다.
• 공동 공감각은 양 모달의 표현을 사용하여 청각 및 시각 특징에 대한 공감각 마스크를 생성하며, 이로써 각 모달이 다른 모달에 의해 함께 공감각될 수 있도록 한다.
• JCA 유닛은 반복적으로 적용되어 공동 표현을 점진적으로 정교화하며, 이로 인해 특징 품질이 향상된다.
• 융합 이후 양 모달의 장기적 시간적 의존성을 포착하기 위해 잔차 연결이 있는 Bi-LSTM를 사용한다.
• 단순 연결, 덧셈, 곱셈과 같은 연산보다는 완전 연결층을 통해 융합을 수행하며, 이는 경험적으로 더 높은 성능을 제공한다.
• 전역 평균 풀링과 공감각 맵을 사용하여 공감각 로컬라이제이션을 시각화하며, 이는 관련 있는 소리 및 시각적 이벤트에 대한 적응적 집중을 보여준다.

실험 결과

연구 질문

• RQ1 기본 융합 방법과 비교해 볼 때, 재귀적 공동 공감각 메커니즘이 청각-시각 이벤트 로컬라이제이션을 위한 다중모달 표현 학습을 향상시킬 수 있는가?
• RQ2 양 모달의 특징을 사용해 공감각 마스크를 생성하는 공동 공감각은 독립적 공감각 또는 자기공감각보다 더 높은 성능을 낼 수 있는가?
• RQ3 공감각 메커니즘의 재귀적 적용이 학습된 표현의 품질과 정확도에 어떤 영향을 미치는가?
• RQ4 수동적 배경 세그먼트 필터링 없이도 제안된 방법이 뛰어난 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 공개된 AVE 데이터셋에서 최신 기술 수준의 성능을 달성하며, 기존 최신 기술 수준의 방법들을 뚜렷이 능가한다.
• 재귀적 공동 공감각 메커니즘이 재귀 융합 단계 수가 증가할수록 성능 향상을 보이며, 반복적 정교화의 효과성을 입증한다.
• 융합에 완전 연결층을 사용할 경우, 덧셈, 곱셈, 연결과 같은 단순 연산 대비 2.1%의 성능 향상을 기록한다.
• 제거 분석 결과, 잔차 연결이 있는 Bi-LSTM가 성능에 가장 큰 영향을 미치며, 전역 시간 모델링의 중요성을 강조한다.
• 정성적 결과에서는 헬리콥터, 기타, 짖는 개, 울고 있는 아이와 같은 다양한 청각-시각 이벤트를 복잡한 환경에서도 적응적으로 로컬라이징하는 것을 확인할 수 있다.
• 시각적 단서가 다시 나타날 때 모델이 이벤트에 대한 공감각을 회복하는 데 성공하며, 예를 들어 연주자가 다시 프레임에 들어올 때 기타를 탐지할 수 있다.