[논문 리뷰] Audio-Visual Event Localization in Unconstrained Videos

Yapeng Tian, Jing Shi외 3명|arXiv (Cornell University)|2018. 03. 23.

Music and Audio Processing참고 문헌 4인용 수 28

한 줄 요약

이 논문은 제약 조건이 없는 영상에서 새로운 오디오-비주얼 이벤트 로컬라이제이션 프레임워크를 제안하며, 새로운 데이터셋과 세 가지 과제(지도 학습, 약한 지도 학습, 다중 모odal 로컬라이제이션)를 도입한다. 오디오 유도 시각 주의 메커니즘, 오디오-비주얼 특징 융합을 위한 이중 다중 모달 잔차 네트워크(DMRN), 오디오-비주얼 거리 학습 네트워크를 활용하여 강력한 오디오-비주얼 상관관계와 시간 정렬을 활용해 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we introduce a novel problem of audio-visual event localization in unconstrained videos. We define an audio-visual event as an event that is both visible and audible in a video segment. We collect an Audio-Visual Event(AVE) dataset to systemically investigate three temporal localization tasks: supervised and weakly-supervised audio-visual event localization, and cross-modality localization. We develop an audio-guided visual attention mechanism to explore audio-visual correlations, propose a dual multimodal residual network (DMRN) to fuse information over the two modalities, and introduce an audio-visual distance learning network to handle the cross-modality localization. Our experiments support the following findings: joint modeling of auditory and visual modalities outperforms independent modeling, the learned attention can capture semantics of sounding objects, temporal alignment is important for audio-visual fusion, the proposed DMRN is effective in fusing audio-visual features, and strong correlations between the two modalities enable cross-modality localization.

연구 동기 및 목표

• 제약 조건이 없는 영상에서 이벤트가 시각적이고 청각적으로 모두 인식 가능한 상황에서 오디오-비주얼 모델링을 공동으로 연구한다.
• 오디오 및 시각 모달 간의 효과적인 융합 방식이 로컬라이제이션 정확도 향상에 어떻게 기여하는지 조사한다.
• 약한 지도 학습 및 제로샷 설정에서 오디오 유도 시각 주의 및 다중 모달 로컬라이제이션의 이점이 무엇인지 탐색한다.
• 4,143개의 제약 조건이 없는 영상으로 구성된 새로운 대규모 데이터셋을 활용해 오디오-비주얼 이벤트 로컬라이제이션의 벤치마크를 수립한다.

제안 방법

• 청각적 대상과 관련된 시각적 영역을 적응적으로 강조하는 오디오 유도 시각 주의 메커니즘을 제안하여 특징의 관련성을 향상시킨다.
• 잔차 학습을 통해 오디오 및 시각 특징을 융합하는 이중 다중 모달 잔차 네트워크(DMRN)를 도입하여 표현 학습을 향상시킨다.
• 대비 손실 기반 오디오-비주얼 거리 학습 네트워크를 활용하여 오디오 및 시각 특징을 공유 부분공간에 매핑함으로써 다중 모달 매칭을 가능하게 한다.
• 시공간적 시각 특징 추출을 위해 C3D 네트워크를 사용하고, 오디오 스펙트로그램 임베딩을 위해 사전 훈련된 VGG 유사 모델을 활용하며, 시퀀스 수준의 표현을 위해 전역 평균 풀링을 적용한다.
• 단일 인스턴스 학습(MIL)에 풀링 레이어를 적용하여 영상 수준의 레이블만 제공되는 약한 지도 학습 로컬라이제이션을 처리한다.
• 로그멜 스펙트로그램 패치와 사전 훈련된 오디오 모델의 마지막 완전 연결 레이어에서 추출한 128차원 오디오 특징을 활용하여 강건한 오디오 표현을 확보한다.

실험 결과

연구 질문

• RQ1 청각적 및 시각적 모달 간의 공동 모델링이 오디오-비주얼 이벤트 로컬라이제이션에서 독립적 모델링보다 우수한가?
• RQ2 노이즈가 있거나 약한 지도 학습 조건에서 성능은 어떻게 저하되는가?
• RQ3 주의 메커니즘을 통해 한 모달(예: 오디오)의 지식이 다른 모달(예: 시각)의 모델링을 향상시킬 수 있는가?
• RQ4 시간 로컬라이제이션을 위해 오디오 및 시각 특징을 융합하는 가장 효과적인 방법은 무엇인가?
• RQ5 학습된 표현을 활용해 오디오에서 시각적 이벤트를, 또는 반대로 시각에서 오디오 이벤트를 로컬라이징할 수 있는가?

주요 결과

• 청각적 및 시각적 모달 간의 공동 모델링은 독립적 모델링보다 유의미하게 뛰어나며, A′+V 융합을 사용한 지도 학습 과제에서 70.2%의 정확도를 기록한다.
• 오디오 유도 시각 주의 메커니즘이 청각적 대상이 포함된 의미론적 영역을 성공적으로 로컬라이징하고, 오디오-비주얼 관련성이 없는 영상을 구분할 수 있다.
• 효과적인 오디오-비주얼 융합을 위해서는 시간 정렬이 필수적이며, 비정렬된 특징은 성능 저하를 초래한다.
• 제안된 이중 다중 모달 잔차 네트워크(DMRN)는 테스트된 방법들 중에서 가장 뛰어난 융합 성능를 달성하여 다중 모달 학습에서의 효과성을 입증한다.
• 강력한 오디오-비주얼 상관관계 덕분에 오디오-비주얼 거리 학습 네트워크의 성공을 통해 효과적인 다중 모달 로컬라이제이션이 가능하다.
• 오디오 및 공간적 시각적 특징(V_s)은 AVE 데이터셋에서 C3D 기반의 시공간적 특징보다 우수한 성능을 보이며, 이는 이 작업에서 운동 모델링보다 의미론적 콘텐츠가 더 중요함을 시사한다.