[논문 리뷰] Learning Situation Hyper-Graphs for Video Question Answering

Aisha Urooj Khan, Hilde Kuehne외 6명|arXiv (Cornell University)|2023. 04. 18.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 비디오 클립에서 명시적인 물체 검출 없이 액터, 물체, 관계, 동작을 표현하는 상황 하이퍼그래프를 학습하는 새로운 엔드 투 엔드 비디오 질의응답 프레임워크인 SHG-VQA를 제안한다. 질문 임bedding과의 크로스 어텐션을 통해 예측된 하이퍼그래프 토큰에 주목함으로써, 모델은 AGQA 및 STAR 벤치마크에서 최신 기술 수준의 성능을 달성하며, 암묵적인 하이퍼그래프 학습이 복잡한 비디오 콘텐츠에 대한 추론을 크게 향상시킨다는 것을 입증한다.

ABSTRACT

Answering questions about complex situations in videos requires not only capturing the presence of actors, objects, and their relations but also the evolution of these relationships over time. A situation hyper-graph is a representation that describes situations as scene sub-graphs for video frames and hyper-edges for connected sub-graphs and has been proposed to capture all such information in a compact structured form. In this work, we propose an architecture for Video Question Answering (VQA) that enables answering questions related to video content by predicting situation hyper-graphs, coined Situation Hyper-Graph based Video Question Answering (SHG-VQA). To this end, we train a situation hyper-graph decoder to implicitly identify graph representations with actions and object/human-object relationships from the input video clip. and to use cross-attention between the predicted situation hyper-graphs and the question embedding to predict the correct answer. The proposed method is trained in an end-to-end manner and optimized by a VQA loss with the cross-entropy function and a Hungarian matching loss for the situation graph prediction. The effectiveness of the proposed architecture is extensively evaluated on two challenging benchmarks: AGQA and STAR. Our results show that learning the underlying situation hyper-graphs helps the system to significantly improve its performance for novel challenges of video question-answering tasks.

연구 동기 및 목표

• 복잡하고 동적인 시나리오에서 시공간적 추론이 필요한 비디오 질의응답 과제를 해결하기 위해.
• 엔티티, 관계, 시간에 따라 변화하는 동작을 인코딩하는 하이퍼그래프로 상황을 모델링하여 VQA의 추론 능력을 향상시키기 위해.
• 사전 학습된 물체 검출기나 명시적인 그래프 계산에 의존하지 않고 비디오 입력으로부터 구조화된 장면 표현을 암묵적으로 학습하기 위해.
• 다중 작업 손실을 통해 정확한 상황 하이퍼그래프 예측과 정확한 답변 생성을 동시에 최적화하기 위해.
• 밀도 높은 참조 하이퍼그래프 애너테이션을 가진 도전적인 벤치마크에서 하이퍼그래프 학습의 효과를 평가하기 위해.

제안 방법

• 비디오 클립 특징에서 원자적 동작과 물체/액터-물체 관계를 토큰의 집합으로 예측하는 상황 하이퍼그래프 디코더를 도입한다.
• 예측된 하이퍼그래프 토큰과 질문 임베딩 간의 크로스 어텐션을 사용하여 답변을 생성한다.
• 각 프레임에서 예측된 하이퍼그래프 토큰과 참조 하이퍼그래프 토큰을 정렬하기 위해 이분 매칭 손실(Hungarian matching)을 적용하여 세트 예측 정확도를 향상시킨다.
• 전체 훈련 목표는 VQA 손실(교차 엔트로피)과 동작 및 관계 예측을 위한 헝가리안 매칭 손실을 조합하여 구성된다.
• 아키텍처는 엔드 투 엔드로 훈련 가능하며 추론 시 명시적인 그래프 신경망 레이어가 필요로 하지 않는다.
• 시공간 그래프 학습을 세트 예측 과제로 간주하여 중간 그래프 구축 과정 없이 직접 관계와 동작을 예측할 수 있도록 한다.

Figure 1 : The situation hyper-graph for a video is composed of situations with entities and their relationships (shown as subgraphs in the pink box). These situations may evolve over time. Temporal actions act as hyper-edges connecting these situations into one situation hyper-graph. Learning situa

실험 결과

연구 질문

• RQ1 원시 비디오에서 암묵적인 상황 하이퍼그래프 학습이 비디오 질의응답 성능을 향상시키는가?
• RQ2 하위그래프를 연결하는 동작을 하이퍼엣지로 모델링하면 동적인 비디오 콘텐츠에 대한 추론 능력이 향상되는가?
• RQ3 하이퍼그래프 예측에 프레임 수준의 헝가리안 매칭을 사용할 경우 전체 비디오 매칭 대비 정확도와 시간 일관성 측면에서 어떤가?
• RQ4 구조화된 하이퍼그래프 표현 학습이 분포 외 추론 작업에 대한 일반화 능력을 얼마나 향상시키는가?
• RQ5 명시적인 그래프 계산이나 사전 정의된 시각-언어 그래프 헤드 없이도 트랜스포머 기반 아키텍처가 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 제안된 SHG-VQA 모델은 AGQA 벤치마크에서 4개의 동작과 12개의 관계를 사용할 경우 39.90%의 정확도로 최신 기술 수준의 성능을 달성한다.
• STAR 벤치마크에서는 3개의 동작와 8개의 관계를 사용할 경우 39.20%의 정확도를 기록하며 복잡한 추론 유형에 대한 뛰어난 성능을 입증한다.
• 제거 실험 결과, 고품질의 하이퍼그래프 예측이 VQA 성능에 매우 중요하며, 그래프 생성 능력이 떨어지는 모델은 복잡한 질문에 답할 수 없다는 것이 확인되었다.
• 하이퍼그래프 예측에 프레임 수준의 헝가리안 매칭을 사용할 경우 전체 비디오 매칭 대비 중복 및 누락 예측을 크게 줄였다.
• 정성적 결과는 프레임 수준 매칭을 사용한 모델이 특히 다단계 동작과 관계에 대해 더 정확하고 시간적으로 일관성 있는 하이퍼그래프를 생성한다는 것을 확인한다.
• 계산 비용은 낮은 편이며, 총 12개의 트랜스포머 레이어(각 인코더/디코더에 5개씩)만 사용하여 ALBEF와 같은 기존 시각-언어 모델과 유사한 수준이다.

Figure 2 : The SHG-VQA architecture: we start with encoding the input video into spatio-temporal features using a pre-trained backbone. These video features are flattened into a sequence of tokens of length $T\times h\times w$ and position encoded to be further processed through a visual encoder. Th