[논문 리뷰] Weakly Supervised Representation Learning for Unsynchronized Audio-Visual Events

Sanjeel Parekh, Slim Essid외 4명|arXiv (Cornell University)|2018. 04. 19.

Music and Audio Processing참고 문헌 34인용 수 14

한 줄 요약

이 논문은 오직 영상 수준의 레이블만을 사용하여 청각-시각 이벤트를 분류하고 그 특징적인 청각 및 시각적 성분을 국소화하기 위한 다중 예제 학습 기반의 약한 지도 학습 다중모odal 프레임워크를 제안한다. 이 방법은 시청각적 이벤트가 시간적으로 비동기일 경우에도 모odal별 대표성을 학습하고 이를 융합하여 강력한 분류 및 국소화를 수행하며, 대규모 약한 레이블이 부여된 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Audio-visual representation learning is an important task from the perspective of designing machines with the ability to understand complex events. To this end, we propose a novel multimodal framework that instantiates multiple instance learning. We show that the learnt representations are useful for classifying events and localizing their characteristic audio-visual elements. The system is trained using only video-level event labels without any timing information. An important feature of our method is its capacity to learn from unsynchronized audio-visual events. We achieve state-of-the-art results on a large-scale dataset of weakly-labeled audio event videos. Visualizations of localized visual regions and audio segments substantiate our system's efficacy, especially when dealing with noisy situations where modality-specific cues appear asynchronously.

연구 동기 및 목표

• 시간적 애너테이션 없이 오직 영상 수준의 레이블만을 사용하여 실제 세계의 청각-시각 이벤트를 분류할 수 있는 시스템을 개발하는 것.
• 청각 및 시각 성분이 시간적으로 비동기적으로 발생하더라도 이벤트의 특징적인 청각 및 시각 성분을 국소화하는 것.
• 잡음, 비동기성, 모호성 등 어려운 조건에서도 시각 및 청각 신호를 효과적으로 융합하는 강력한 다중모달 표현 학습 프레임워크를 만드는 것.
• 약한 레이블이 부여된 대규모 영상 데이터셋을 기반으로 한 방법의 유효성을 검증하여 분류 및 국소화 작업 모두에서 성능을 입증하는 것.

제안 방법

• 프레임워크는 각 영상을 이미지 영역(제안)과 음성 세그먼트(제안)의 집합으로 간주하고, 영상 수준의 레이블에서 학습하기 위해 다중 예제 학습을 적용한다.
• 시각 및 청각 하위 네트워크는 각각 이미지 제안과 음성 세그먼트에서 깊은 특징을 추출하고, 각 제안이 이벤트 클래스와 관련이 있는지에 대한 점수를 계산한다.
• 모달별 점수는 전역 평균 풀링을 통해 집계되고, 조기 연결을 통해 영상 수준의 분류를 위해 융합된다.
• 모델는 약한 지도 학습을 사용하여 엔드 투 엔드로 훈련되며, 표현 학습, 분류, 국소화를 동시에 학습할 수 있다.
• 국소화 결과는 제안의 점수에 따라 시간에 따라 변화하는 히트맵으로 시각화되며, 탐지 신뢰도에 따라 바운딩 박스의 불투명도가 조절된다.
• 아키텍처는 청각 및 시각 신호가 서로 다른 시간에 활성화될 수 있도록 설계되어 시간적 비동기성을 효과적으로 처리한다.

실험 결과

연구 질문

• RQ1 오직 영상 수준의 레이블만 제공될 경우, 약한 지도 학습 다중모달 프레임워크가 이벤트의 특징적인 청각 및 시각 성분을 국소화할 수 있는가?
• RQ2 청각 및 시각 신호가 시간적으로 일치하지 않는 비동기적 시청각 이벤트를 다룰 때 이 방법의 효과성은 어떠한가?
• RQ3 단일모달 기반의 베이스라인 대비 모달 융합이 분류 및 국소화 성능 향상에 얼마나 기여하는가?
• RQ4 시각적 가림이나 낮은 신호 대 잡음비 등의 노이즈 조건에서도 시스템이 강력한 성능을 유지할 수 있는가?

주요 결과

• 제안된 이중 스트림 AV TS 모델은 테스트 세트에서 평균 F1 점수 75.7을 기록하여 청각 전용(42.1) 및 영상 전용(72.5) 베이스라인을 모두 초월한다.
• 약한 레이블이 부여된 대규모 청각 이벤트 영상 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 특히 '기차 경적'(F1: 64.7)과 '오토바이'(F1: 81.1)와 같은 어려운 클래스에서 뛰어난 성능을 보였다.
• 정성적 결과 분석을 통해 모델이 청각 이벤트 이후에 나타나는 시각적 객체(예: 경적 소리 이후에 나타나는 자동차)를 성공적으로 국소화하는 것을 확인할 수 있었다.
• 시각적 가림이나 저조도 조건에서도 '오토바이' 예시에서 시각적 객체가 보이지 않더라도 청각 신호를 통해 이벤트를 정확히 식별하는 것으로 나타났다.
• 히트맵을 통한 분석을 통해 청각 및 시각 모달이 서로 다른 시간에 활성화 피크를 보이며 시간적 비동기성을 효과적으로 처리할 수 있음을 검증하였다.