[논문 리뷰] Learning to Answer Questions in Dynamic Audio-Visual Scenarios

Guangyao Li, Yake Wei외 4명|arXiv (Cornell University)|2022. 03. 26.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 음악 연주 영상에서 유래한 45,867개의 질문-답변 쌍을 포함하는 대규모 데이터셋인 MUSIC-AVQA를 소개하고, 다중모态 이해 및 추론을 향상시키기 위해 시공간에 기반한 음성-시각 네트워크를 제안한다. 이 모델은 음성-시각 공간적 연관성과 질문 인식 기반의 시간적 지도를 명시적으로 모델링하여 최근의 A-, V-, 및 AVQA 방법들을 능가하며, 수량 세기 및 위치 질문과 같은 복잡한 추론 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we focus on the Audio-Visual Question Answering (AVQA) task, which aims to answer questions regarding different visual objects, sounds, and their associations in videos. The problem requires comprehensive multimodal understanding and spatio-temporal reasoning over audio-visual scenes. To benchmark this task and facilitate our study, we introduce a large-scale MUSIC-AVQA dataset, which contains more than 45K question-answer pairs covering 33 different question templates spanning over different modalities and question types. We develop several baselines and introduce a spatio-temporal grounded audio-visual network for the AVQA problem. Our results demonstrate that AVQA benefits from multisensory perception and our model outperforms recent A-, V-, and AVQA approaches. We believe that our built dataset has the potential to serve as testbed for evaluating and promoting progress in audio-visual scene understanding and spatio-temporal reasoning. Code and dataset: http://gewu-lab.github.io/MUSIC-AVQA/

연구 동기 및 목표

• 동적인 다중모달 장면에서 시공간적 추론이 요구되는 음성-시각 질문 응답(AVQA) 문제를 해결하기 위해.
• 실생활 음악 연주에서의 복잡한 음성-시각 상호작용을 포괄하는 대규모이고 다양한 데이터셋을 구축하기 위해.
• 공간적 지도(음성-시각 소스 정렬)와 시간적 지도(핵심 타임스탬프 주의)를 효과적으로 통합하여 향상된 추론을 위한 모델을 개발하기 위해.
• 다중감각 인식이 AVQA 성능에 미치는 영향을 평가하고 향후 연구를 위한 벤치마크를 설정하기 위해.

제안 방법

• 교차모달 음성-시각 연관성을 모델링하기 위해 주의 기반 음성 소스 위치 추정을 사용하는 공간적 지도 모듈을 제안한다.
• 질문 임베딩을 쿼리로 사용하여 영상의 관련 타임스탬프에 주의를 기울이는 시간적 지도 모듈을 도입한다.
• 공간 인식 및 시간 인식 기반의 음성-시각 특징을 융합하여 종단 간 질문 응답을 위한 통합 표현을 생성한다.
• 음성 및 시각 모odal 특징을 위한 이중 브랜치 인코더를 사용한 후, 교차 주의 메커니즘을 통해 모달 간 정렬을 수행한다.
• 오픈-ended 답변 예측을 위해 사전 정의된 답변 어휘를 사용하며, 교차 엔트로피 손실을 통해 훈련한다.
• 유튜브 음악 연주 영상에서 인간이 애너테이션한 QA 쌍을 활용하여 훈련 및 평가를 위한 지도를 제공한다.

실험 결과

연구 질문

• RQ1 모델은 객체 위치, 소리 시기, 수량 세기와 같은 복잡한 질문에 대해 음성-시각 장면에서 효과적으로 시공간적 추론을 수행할 수 있는가?
• RQ2 음성과 시각 모달을 모두 통합할 경우, 단일모달 접근 방식에 비해 AVQA 성능은 얼마나 향상되는가?
• RQ3 공간적 지도 및 시간적 지도 모듈은 어떻게 동적인 음성-시각 시나리오에서 추론 능력을 향상시키는가?
• RQ4 MUSIC-AVQA와 같은 대규모이고 다양한 데이터셋은 음성-시각 장면 이해 평가를 위한 견고한 벤치마크로 기능할 수 있는가?

주요 결과

• 제안된 모델는 최근의 A-, V-, 및 AVQA 방법들을 능가하며, 특히 수량 세기 및 위치 질문과 같은 추론 중심 질문 유형에서 뛰어난 성능을 보였다.
• 모든 AVQA 방법이 단일모달 접근 방식(AQA 및 VQA)을 능가하며, 복잡한 장면에서 다중감각 인식의 이점이 확인되었다.
• 공간적 지도 모듈은 음성-시각 소스 연관성을 효과적으로 포착하여 객체-소리 연결이 필요한 질문에서 성능 향상을 이끌었다.
• 시간적 지도 모듈은 질문과 관련된 핵심 타임스탬프를 성공적으로 강조하여 시간적 추론 능력을 향상시켰다.
• MUSIC-AVQA 데이터셋은 성능 향상에 기여하며, 향후 음성-시각 추론 연구를 위한 강력한 벤치마크로 강력한 잠재력을 보였다.
• 실패 케이스는 단일모달 임베딩에서 관련 없는 시각 또는 음성 요소가 노이즈를 유발할 수 있음을 시사하며, 적응형 특징 선택의 여지가 있음을 나타낸다.