[논문 리뷰] Location-aware Graph Convolutional Networks for Video Question Answering

Deng Huang, Peihao Chen외 4명|arXiv (Cornell University)|2020. 08. 07.

Multimodal Machine Learning Applications참고 문헌 39인용 수 4

한 줄 요약

이 논문은 공간적 및 시간적 위치 특징으로 풍부하게 개선된 그래프 구조를 통해 객체 간 상호작용을 모델링함으로써 영상 질의응답을 위한 위치 인식 그래프 컨볼루션 네트워크(L-GCN)를 제안한다. 직접적인 관계를 포착하면서 배경 잡음을 걸러내는 그래프 컨볼루션을 활용함으로써, L-GCN는 TGIF-QA, YouTube2Text-QA, MSVD-QA 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 시간적 추론 작업에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

We addressed the challenging task of video question answering, which requires machines to answer questions about videos in a natural language form. Previous state-of-the-art methods attempt to apply spatio-temporal attention mechanism on video frame features without explicitly modeling the location and relations among object interaction occurred in videos. However, the relations between object interaction and their location information are very critical for both action recognition and question reasoning. In this work, we propose to represent the contents in the video as a location-aware graph by incorporating the location information of an object into the graph construction. Here, each node is associated with an object represented by its appearance and location features. Based on the constructed graph, we propose to use graph convolution to infer both the category and temporal locations of an action. As the graph is built on objects, our method is able to focus on the foreground action contents for better video question answering. Lastly, we leverage an attention mechanism to combine the output of graph convolution and encoded question features for final answer reasoning. Extensive experiments demonstrate the effectiveness of the proposed methods. Specifically, our method significantly outperforms state-of-the-art methods on TGIF-QA, Youtube2Text-QA, and MSVD-QA datasets. Code and pre-trained models are publicly available at: https://github.com/SunDoge/L-GCN

연구 동기 및 목표

• 정확한 추론을 위해 필수적인 객체 간 상호작용과 그들의 시공간적 위치를 명시적으로 모델링하여 영상 질의응답의 과제를 해결하는 것.
• 기존 방법들이 시공간적 주의 메커니즘 또는 RNN에 의존함으로써 배경 콘텐츠에 민감하고 비연속적인 객체 상호작용을 다루기 어려운 점을 극복하는 것.
• 공간적 및 시간적 위치 정보를 그래프 구조에 통합하여 행동 전이 및 수량 측정과 같은 시간적 추론 작업에서 성능을 향상시키는 것.
• 모든 객체 간 직접적이고 비순환적인 상호작용을 가능하게 하는 그래프 기반 프레임워크를 개발하여 복잡한 영상 동역학을 더 잘 모델링하는 것.

제안 방법

• 각 영상 프레임에서 외부에서 제공하는 검출기로 객체를 검출하고, 이를 완전히 연결된 그래프의 노드로 표현한다.
• 각 노드는 외관 특징과 2차원 공간적 위치 + 시간적 위치 좌표를 함께 포함하여 그래프를 위치 인식 가능하게 한다.
• 그래프 컨볼루션 네트워크(GCN)를 적용하여 노드 간 메시지를 전파함으로써, 프레임 간 거리와 관계없이 모든 객체 간 직접적 상호작용을 가능하게 한다.
• GCN 출력은 시각적-질의 상호작용 모듈을 통해 인코딩된 질문 특징과 융합되어 최종 답변을 예측한다.
• 기본적으로 두 층의 GCN을 사용하며, 프레임당 5개의 검출된 객체를 기반으로 한 추론 실험 결과 최적의 성능를 보임.
• 위치 특징은 각 노드의 추가 입력으로 통합되며, 추론 실험 결과 공간적 위치와 시간적 위치 모두가 상호보완적이며 필수적임을 확인함.

실험 결과

연구 질문

• RQ1 주어진 질문에 대해 주의 기반 또는 RNN 기반 방법과 비교할 때, 위치 인식 그래프를 통한 객체 간 상호작용 모델링이 영상 질의응답 성능 향상에 기여하는가?
• RQ2 공간적 위치와 시간적 위치 정보를 동시에 통합할 경우, 행동 순서나 반복 횟수와 같은 시간적 질의에 대한 추론 성능에 어떤 영향을 미치는가?
• RQ3 모든 객체 간 직접적 상호작용을 가능하게 하는 그래프 기반 접근 방식이 영상 질의응답에서 순환적 또는 순차적 모델링 방식을 얼마나 뛰어넘는가?
• RQ4 영상 질의응답에서 성능와 효율성의 균형을 고려할 때, GCN의 최적의 깊이와 프레임당 검출된 객체 수는 얼마인가?

주요 결과

• L-GCN는 TGIF-QA에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 행동 예측 작업에서 74.32%의 정확도를 기록하여 기준 모델 대비 3.74%p 향상되었다.
• 전이 작업에서는 기준 모델의 79.59%에서 L-GCN가 81.13%로 향상되어 행동 순서에 대한 추론 능력 향상을 입증하였다.
• 수량 측정 작업에서는 4.33에서 3.95로 향상되어 행동 반복 및 시간 패턴 이해 능력 향상을 보였다.
• 추론 실험 결과 공간적 위치와 시간적 위치 특징을 모두 통합할 경우 최고의 성능를 기록하였으며, 각각을 별도로 사용할 경우 정확도가 낮아짐을 확인하였다.
• 두 개의 GCN 층을 사용할 경우 최적의 성능를 기록하였으며, 프레임당 5개의 객체를 검출할 경우 커버리지와 노이즈의 최적의 균형을 이룸.
• 정성적 분석 결과 모델이 질문과 관련된 주목할 만한 객체를 효과적으로 탐지하고, 예를 들어 다이나믹한 장면에서 남성과 오토바이 사이의 의미적 관계를 프레임 간에 잘 포착하고 있음을 확인하였다.