[논문 리뷰] iPerceive: Applying Common-Sense Reasoning to Multi-Modal Dense Video Captioning and Video Question Answering

Aman Chadha, Gurneet Arora외 1명|arXiv (Cornell University)|2020. 11. 16.

Multimodal Machine Learning Applications참고 문헌 66인용 수 24

한 줄 요약

iPerceive는 시각적, 청각적, 음성 모odal을 통합하고 자기지도적 원인 관계 손실를 활용하여 밀도 높은 영상 요약(DVC)과 영상 질의응답(VideoQA)에 공통된 이해를 통합하는 다중 모odal, 엔드 투 엔드 학습 가능한 프레임워크를 제안한다. 이는 사건 간 원인 관계를 추론하기 위해 맥락적 신호를 활용한다. iPerceive는 ActivityNet Captions(7.87 METEOR)와 TVQA(76.97% 정확도)에서 최신 기술 수준(SOTA) 성능을 달성하여 기존 모델 대비 향상된 추론 능력과 주의 집중 능력을 입증한다.

ABSTRACT

Most prior art in visual understanding relies solely on analyzing the "what" (e.g., event recognition) and "where" (e.g., event localization), which in some cases, fails to describe correct contextual relationships between events or leads to incorrect underlying visual attention. Part of what defines us as human and fundamentally different from machines is our instinct to seek causality behind any association, say an event Y that happened as a direct result of event X. To this end, we propose iPerceive, a framework capable of understanding the "why" between events in a video by building a common-sense knowledge base using contextual cues to infer causal relationships between objects in the video. We demonstrate the effectiveness of our technique using the dense video captioning (DVC) and video question answering (VideoQA) tasks. Furthermore, while most prior work in DVC and VideoQA relies solely on visual information, other modalities such as audio and speech are vital for a human observer's perception of an environment. We formulate DVC and VideoQA tasks as machine translation problems that utilize multiple modalities. By evaluating the performance of iPerceive DVC and iPerceive VideoQA on the ActivityNet Captions and TVQA datasets respectively, we show that our approach furthers the state-of-the-art. Code and samples are available at: iperceive.amanchadha.com.

연구 동기 및 목표

• 현재 영상 이해 시스템이 '무엇'과 '어디'에만 집중하고 원인 분석을 위한 원인 추론을 수행하지 못하는 한계를 해결하기 위해.
• 다양한 모달에서 유도된 맥락적 신호를 활용해 공통된 이해 지식 기반을 구축하여 영상 모델의 허위 관측 편향을 줄이기 위해.
• 시각적, 청각적, 음성 신호를 엔드 투 엔드 학습과 함께 융합하여 밀도 높은 영상 요약과 영상 질의응답을 향상시키기 위해.
• 공통된 이해 추론이 모델의 인식 능력을 향상시켜 더 정확한 사건 현지화와 언어 생성을 가능하게 함을 입증하기 위해.

제안 방법

• iPerceive는 맥락적 손실를 자기지도 신호로 활용하여 영상 내 객체와 사건 간의 원인 관계를 추론함으로써 공통된 이해 지식 기반을 구축한다.
• 이 프레임워크는 시각적, 청각적, 음성 모달을 종합적으로 최적화하는 엔드 투 엔드 학습 가능한 트랜스포머 기반 아키텍처를 활용한다.
• 공통된 이해 특징은 사건 간 내재된 관계를 모델링하는 원인 추론 모듈을 통해 생성되며, 허위 공존 패tern에 대한 의존도를 감소시킨다.
• DVC의 경우, 훈련 시 진짜 사건 제안을 사용하지만, 언어 기술과 시간적으로 국한된 사건 간의 일치를 위해 엔드 투 엔드로 훈련된다.
• VideoQA의 경우, iPerceive는 iPerceive DVC의 밀도 높은 요약과 공통된 이해 특징을 활용하여 사건 간 관계에 대한 추론이 필요한 질문에 답한다.
• 제거 실험을 통해 ActivityNet Captions와 TVQA에서 엔드 투 엔드 학습과 공통된 이해 추론의 기여도를 검증한다.

실험 결과

연구 질문

• RQ1 공통된 이해 추론이 사건 간 원인 관계를 모델링함으로써 밀도 높은 영상 요약의 정확도와 일관성을 향상시킬 수 있는가?
• RQ2 시각적 모델 대비 다중 모달 통합(시각, 청각, 음성)이 영상 이해에서 원인 인식 능력을 어떻게 향상시키는가?
• RQ3 엔드 투 엔드 학습이 DVC에서 영상 세그먼트와 언어 기술 간의 일치를 얼마나 향상시키는가?
• RQ4 원인 추론을 통합함으로써 공존 편향으로 인한 허위 연관성이 영상 이해 작업에서 얼마나 감소하는가?
• RQ5 공통된 이해 특징이 시각적 인식을 초월한 추론이 필요한 영상 질의응답 작업에서 성능 향상에 기여하는가?

주요 결과

• iPerceive DVC는 ActivityNet Captions 검증 세트에서 7.87 METEOR 점수를 기록하여 이전 SOTA보다 0.98 포인트 높다.
• 모든 모달 통합을 통해 iPerceive DVC는 BLEU@4 12.27과 METEOR 7.87을 달성하여 다중 모달 입력의 이점을 입증한다.
• iPerceive VideoQA는 TVQA 테스트 세트에서 76.97%의 정확도를 기록하여 이전 SOTA(74.20%)를 2.77%p 초월한다.
• 제거 실험 결과, 공통된 이해 추론과 엔드 투 엔드 학습을 조합할 경우 최고의 성능(7.87 METEOR)을 기록하여 이들의 상호보완적 효과를 확인한다.
• iPerceive DVC가 생성한 밀도 높은 요약과 공통된 이해 특징의 포함으로 영상 질의응답 정확도가 기준 모델 대비 2.77%p 향상되었다.
• 정성 분석 결과, iPerceive는 원인 맥락을 모델링함으로써 잘못된 객체에 주의를 기울이는 등의 인지 오류를 감소시킨다.