[논문 리뷰] Hierarchical Object-oriented Spatio-Temporal Reasoning for Video Question Answering

Long Hoang Dang, Thao Minh Le외 2명|arXiv (Cornell University)|2021. 06. 25.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 시공간 그래프를 기반으로 동적이고 객체 중심의 추론을 수행하는 신경망인 계층적 객체 지향 시공간 추론(HOSTR)을 제안한다. 다중 수준의 객체 지향 시공간 추론(OSTR) 유닛 아키텍처를 사용함으로써 HOSTR는 질문에 따라 유도되는 내부 객체의 시간적 동적 변화와 객체 간 공간적 상호작용을 포착하여, 다양한 비디오 질의응답 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며 해석 가능성과 효율성도 향상시킨다.

ABSTRACT

Video Question Answering (Video QA) is a powerful testbed to develop new AI capabilities. This task necessitates learning to reason about objects, relations, and events across visual and linguistic domains in space-time. High-level reasoning demands lifting from associative visual pattern recognition to symbol-like manipulation over objects, their behavior and interactions. Toward reaching this goal we propose an object-oriented reasoning approach in that video is abstracted as a dynamic stream of interacting objects. At each stage of the video event flow, these objects interact with each other, and their interactions are reasoned about with respect to the query and under the overall context of a video. This mechanism is materialized into a family of general-purpose neural units and their multi-level architecture called Hierarchical Object-oriented Spatio-Temporal Reasoning (HOSTR) networks. This neural model maintains the objects' consistent lifelines in the form of a hierarchically nested spatio-temporal graph. Within this graph, the dynamic interactive object-oriented representations are built up along the video sequence, hierarchically abstracted in a bottom-up manner, and converge toward the key information for the correct answer. The method is evaluated on multiple major Video QA datasets and establishes new state-of-the-arts in these tasks. Analysis into the model's behavior indicates that object-oriented reasoning is a reliable, interpretable and efficient approach to Video QA.

연구 동기 및 목표

• 지속적인 실체로 간주되는 객체를 모델링함으로써 비디오 질의응답에서 고수준의 기호적 유사 추론을 가능하게 하기 위해.
• 시각적 비디오 데이터와 언어적 질의 사이의 의미적 격차를 극복하기 위해 구조화된 관계 기반 추론을 통해 문제를 해결하기 위해.
• 질문과 맥락에 따라 동적으로 객체 상호작용을 모델링할 수 있는 일반 목적 신경 유닛(OSTR)을 개발하기 위해.
• 더 긴 비디오에 대응할 수 있도록 확장 가능한 계층적 아키텍처를 설계하여 복잡한 비디오 이벤트의 다수 수준 추상화를 지원하기 위해.
• 그래프 구조적 표현에서 객체와 관계를 명시적으로 추적함으로써 비디오 질의응답 모델의 해석 가능성과 신뢰성을 향상시키기 위해.

제안 방법

• 모델은 입력 객체 시퀀스, 맥락적 비디오 특징, 언어적 질의를 처리하는 데 사용되는 신경 유닛인 객체 지향 시공간 추론(OSTR)을 사용한다.
• 각 OSTR 유닛은 개별 객체 시퀀스를 질문에 관련된 표현으로 요약하기 위해 시간적 어텐션을 적용한다.
• 객체 간 공간적 상호작용은 메시지 전달을 통해 객체 표현을 개선하기 위해 그래프 컬러이션 네트워크(GCNs)를 사용하는 그래프 기반 메커니즘을 통해 모델링된다.
• OSTR 유닛은 비디오의 시간적 구조를 반영하는 계층적 아키텍처(HOSTR)에 스택되어 있으며, 클립 수준에서 비디오 수준으로의 하향식 추상화를 가능하게 한다.
• 모델은 객체 식별자와 관계가 시간과 추상화 수준을 넘어선 유지되는 계층적으로 내장된 시공간 그래프를 구성한다.
• 최종 답변은 그래프 내에서 핵심 객체와 그들의 동적 상호작용을 조건화한 정련된 표현에서 유도된다.

실험 결과

연구 질문

• RQ1 지속적인 객체 수명선을 가진 객체 중심 추론이 비디오 질의응답에서 성능과 해석 가능성 향상에 기여하는가?
• RQ2 다양한 비디오 시간 스케일에서 시공간 관계를 계층적으로 모델링함으로써 장거리 의존성에 대한 추론 능력이 어떻게 향상되는가?
• RQ3 정적 어텐션 또는 메모리 네트워크에 비해 질의 유도적이고 동적 그래프 구축이 시각적 및 언어적 모odal 간 추론에 얼마나 기여하는가?
• RQ4 내부 객체 시간 어텐션과 외부 객체 공간 상호작용 구성 요소가 모델 성능에 독립적으로 기여하는 정도는 어느 정도인가?
• RQ5 일반 목적 신경 유닛(OSTR)이 다양한 복잡성 수준의 비디오 질의응답 작업 및 데이터셋에서 효과적으로 재사용될 수 있는가?

주요 결과

• HOSTR는 MSVD-QA, MSRVTT-QA, TGIF-QA를 포함한 여러 주요 비디오 질의응답 벤치마크에서 새로운 최신 기술 수준(SOTA) 성능를 달성하여 뛰어난 추론 능력을 입증하였다.
• 제거 실험 결과, 순차 요약에 있어 시간 어텐션은 BiLSTM를 능가하며, 기본 설정에서 39.4%의 테스트 정확도를 기록하였다.
• 객체 간 상호작용에 6개의 GCN 레이어를 사용할 경우 최적의 성능를 달성하였으며, 더 많은 레이어를 추가하면 기울기 소실로 인해 정확도가 떨어졌다.
• 맥락 표현을 제거하면 정확도가 39.4%에서 37.8%로 감소하여, 비디오 수준 맥락 유지에 있어 그 중요성을 확인하였다.
• 계층적 설계가 성능 향상에 크게 기여하였다: 1.5단계 계층은 1단계 계층(38.0%)을 능가하는 38.7%의 정확도를 기록하였으며, 더 긴 비디오에 대한 확장 가능성도 입증하였다.
• 정성적 시각화 결과, HOSTR가 의미적으로 관련된 객체(예: 소녀, 공, 개)와 그 관계에 주목하고 있으며, 인간의 시각적 추론 패턴과 일치함을 확인하였다.