[논문 리뷰] Video as Conditional Graph Hierarchy for Multi-Granular Question Answering

Junbin Xiao, Angela Yao외 4명|arXiv (Cornell University)|2021. 12. 12.

Multimodal Machine Learning Applications인용 수 16

한 줄 요약

이 논문은 언어 질의에 조건부로 설정된 조건부 그래프 계층 구조를 제안하여 비디오를 다중 분해능 시각적 사실—객체, 동작, 활동, 사건—으로 모델링한다. 이는 계층적으로 정렬되어 있으며, 질의에 따라 조정된다. 질의 인식 그래프 어텐션을 다중 수준에 걸쳐 사용함으로써, 다양한 VideoQA 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 질문 유형 간 일반화 능력과 해석 가능성도 향상시킨다.

ABSTRACT

Video question answering requires the models to understand and reason about both the complex video and language data to correctly derive the answers. Existing efforts have been focused on designing sophisticated cross-modal interactions to fuse the information from two modalities, while encoding the video and question holistically as frame and word sequences. Despite their success, these methods are essentially revolving around the sequential nature of video- and question-contents, providing little insight to the problem of question-answering and lacking interpretability as well. In this work, we argue that while video is presented in frame sequence, the visual elements (e.g., objects, actions, activities and events) are not sequential but rather hierarchical in semantic space. To align with the multi-granular essence of linguistic concepts in language queries, we propose to model video as a conditional graph hierarchy which weaves together visual facts of different granularity in a level-wise manner, with the guidance of corresponding textual cues. Despite the simplicity, our extensive experiments demonstrate the superiority of such conditional hierarchical graph architecture, with clear performance improvements over prior methods and also better generalization across different type of questions. Further analyses also demonstrate the model's reliability as it shows meaningful visual-textual evidences for the predicted answers.

연구 동기 및 목표

• 비디오 질의 응답에서 순차적 모델링의 한계를 해결하기 위해, 계층적인 시각적 구조와 다중 분해능 언어 개념을 포착하지 못하는 문제를 해결한다.
• 기존 모델이 해석 가능성 부족과 최적화되지 않은 추론을 겪는 문제를 해결하기 위해, 비디오를 시각적 요소의 구조적 계층으로 모델링한다.
• 텍스트 질의를 다양한 수준의 시각적 사실—객체, 동작, 활동, 사건—과 정렬함으로써 다중 분해능 추론을 가능하게 한다.
• 질의 조건부 그래프 어텐션을 계층 수준 간에 통합함으로써 모델의 일반화 능력과 신뢰성을 향상시킨다.
• 어텐션 기반 특징 국소화와 관계 학습을 통해 예측에 대한 의미 있는 시각-언어적 증거를 제공한다.

제안 방법

• 비디오를 계층적 그래프 구조로 모델링하며, 노드는 다양한 분해능 수준의 시각적 사실을 나타낸다: 객체(G_O), 프레임(G_F), 동작(G_A), 전반적 사건(G_C).
• 각 수준에 텍스트 질의 신호를 통합하여 조건부 그래프 계층을 구성함으로써, 어텐션과 특징 집합을 이끌어낸다.
• 재사용 가능한 질의 조건부 그래프 어텐션(QGA) 유닛을 사용하여 노드 수준의 어텐션 가중치를 계산함으로써, 각 분해능 수준에서 다중 모odal 정렬을 가능하게 한다.
• 계층 간 그래프 풀링과 집합을 적용하여, 하위 수준의 사실에서 상위 수준 표현을 점진적으로 구축함으로써 질의에 따라 이끌린다.
• 어텐션 기반 메커니즘을 통해 희소 인접 행렬을 학습함으로써, 관련 없는 시각적 관계를 걸러내고 질의 관련 상호작용에 집중한다.
• BERT 기반의 문맥 기반 텍스트 인코딩을 활용하여 다중 분해능 언어 개념(예: '스케이터' 대비 '남성/여성 스케이터')의 의미를 더 정확히 해독한다.

실험 결과

연구 질문

• RQ1 비디오를 조건부 그래프 계층으로 모델링하는 것이 다중 분해능 비디오 질의 응답에서 추론 성능을 향상시키는가?
• RQ2 계층적이고 질의 조건부 그래프 집합이 순차적 모델링과 비교해 시각적·언어적 복잡성을 얼마나 잘 포착하는가?
• RQ3 모델이 다양한 질문 유형(예: '무엇', '누구', '언제', '어떻게') 간에 얼마나 잘 일반화되는가?
• RQ4 모델이 예측에 대해 해석 가능한 국소화된 시각-언어적 증거를 제공할 수 있는가?
• RQ5 개별 구성 요소(예: 그래프 계층, 다중 수준 조건부 설정, BERT 인코딩)가 전체 성능에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 모델은 MSRVTT-QA에서 38.6%의 정확도, MSVD-QA에서 41.2%의 정확도를 기록하며 네 개의 VideoQA 데이터셋에서 최신 기술 수준 성능을 달성했다.
• 제거 실험 결과, 질의 조건부 설정을 제거한 경우(MSRVTT-QA 기준) 성능이 51.30%로 떨어지며, 이는 질의 조건부 설정의 핵심적 역할을 확인한다.
• 모든 질문 유형에서 기존 방법을 초월하며, MSRVTT-QA에서 '무엇' 질문에 대해 4.6%의 성능 격차를 기록하여 동작/활동 인식 능력 향상을 시사한다.
• 정성 분석 결과, 어텐션 가중치가 관련 시각적 요소(예: 특정 프레임과 객체)를 국소화하고, 질의 관련 수준(예: 동작 대비 객체)을 구분함을 확인했다.
• 학습된 인접 행렬은 희소성을 띠며, 이는 모델이 관련 없는 시각적 관계를 걸러내고 해석 가능성을 향상시킨다는 것을 의미한다.
• 가장 단순한 변형(MSRVTT-QA 기준 50.62%)조차도 강력한 성능을 기록하며, 개선된 데이터 표현과 BERT 기반 인코딩의 유용성을 입증한다.