[논문 리뷰] DramaQA: Character-Centered Video Story Understanding with Hierarchical QA

Seong-Ho Choi, Kyoung-Woon On외 5명|arXiv (Cornell University)|2020. 05. 07.

Multimodal Machine Learning Applications참고 문헌 51인용 수 10

한 줄 요약

DramaQA는 인지 발달 단계에 기반한 계층적 질의응답(QA)을 갖춘 캐릭터 중심의 비디오 스토리 이해 벤치마크를 도입하며, 네 가지 난이도 수준에서 17,983개의 QA 쌍을 포함하고 있으며, 시각적 바운딩 박스, 감정, 행동, 공참조 스크립트 등 풍부한 애너테이션을 제공한다. 제안된 다중 수준 맥락 매칭 모델은 저수준 및 고수준 표현을 활용하여 복잡한 질문에 대한 추론 성능을 향상시키며, 데이터셋에서 최신 기술 성능을 기록하고 있으며, 더 어려운 난이도 수준에서 뚜렷한 성과 향상을 보였다.

ABSTRACT

Despite recent progress on computer vision and natural language processing, developing a machine that can understand video story is still hard to achieve due to the intrinsic difficulty of video story. Moreover, researches on how to evaluate the degree of video understanding based on human cognitive process have not progressed as yet. In this paper, we propose a novel video question answering (Video QA) task, DramaQA, for a comprehensive understanding of the video story. The DramaQA focuses on two perspectives: 1) Hierarchical QAs as an evaluation metric based on the cognitive developmental stages of human intelligence. 2) Character-centered video annotations to model local coherence of the story. Our dataset is built upon the TV drama "Another Miss Oh" and it contains 17,983 QA pairs from 23,928 various length video clips, with each QA pair belonging to one of four difficulty levels. We provide 217,308 annotated images with rich character-centered annotations, including visual bounding boxes, behaviors and emotions of main characters, and coreference resolved scripts. Additionally, we suggest Multi-level Context Matching model which hierarchically understands character-centered representations of video to answer questions. We release our dataset and model publicly for research purposes, and we expect our work to provide a new perspective on video story understanding research.

연구 동기 및 목표

• 인간의 인지 발달 단계를 반영하는 종합적인 비디오 스토리 이해 벤치마크를 개발하기 위해.
• 기존 비디오 QA 데이터셋에서 체계적인 난이도 스케일링의 부재를 해결하기 위해, 기억 용량과 논리적 복잡성에 기반한 네 가지 계층적 난이도 수준을 도입하기 위해.
• 캐릭터 중심의 스토리 일관성을 확보하기 위해, 바운딩 박스, 감정, 행동, 공참조 스크립트 등 세부적인 시각적 및 언어적 애너테이션을 제공하기 위해.
• 저수준 시각적 세부 정보와 고수준 서사 추론을 모두 포괄하는 다중 수준 모델링 접근법을 제안하여 QA 성능 향상에 기여하기 위해.
• 다중모달 비디오 이해 및 추론 분야의 연구를 촉진하기 위해 공개된 데이터셋과 모델을 배포하기 위해.

제안 방법

• 데이터셋은 23,928개의 비디오 클립과 17,983개의 QA 쌍을 포함한 TV 드라마 'Another Miss Oh'를 기반으로 하며, 피아제의 인지 발달 단계에 기반해 네 가지 난이도 수준으로 할당된다.
• 각 QA 쌍은 캐릭터 중심의 애너테이션과 연결되며, 시각적 바운딩 박스, 정서 상태, 행동, 공참조 스크립트를 포함하여 서사 일관성을 보장한다.
• 다중 수준 맥락 매칭 모델은 두 수준의 추상화를 사용한다: 비디오 프레임과 스크립트에서 유도된 저수준 표현과, 집계된 맥락에서 유도된 고수준 표현으로 장거리 의존성을 모델링한다.
• 모델은 두 수준에서 질문 맥락을 비디오, 스크립트, 캐릭터 표현과 일치시키기 위해 후기 상호작용 메커니즘을 활용하여 계층적 추론을 가능하게 한다.
• 스크립트에서 공참조 해결을 적용하여 대화 전반에 걸쳐 동일한 캐릭터를 가리키는 언급을 통합함으로써, 시각적 애너테이션과의 정렬을 향상시킨다.
• 모델은 교차 엔트로피 손실을 사용해 엔드 투 엔드로 훈련되며, 네 가지 난이도 수준에서 정확도를 평가하여 추론 깊이를 분석한다.

실험 결과

연구 질문

• RQ1 어떻게 인지 발달 기반의 질문 난이도 계층을 활용하여 비디오 스토리 이해를 평가할 수 있는가?
• RQ2 캐릭터 중심의 시각적 및 언어적 애너테이션은 복잡한 비디오 QA 작업에서 모델 성능을 얼마나 향상시키는가?
• RQ3 저수준 세부 정보와 고수준 서사 맥락을 통합하는 다중 수준 표현 학습은 계층적 QA 작업의 추론 능력을 향상시키는가?
• RQ4 시각적 및 텍스트 모odal은 다양한 난이도의 질문에 대해 어떻게 다른 기여를 하는가?
• RQ5 공참조 해결 및 캐릭터 가이드드 표현은 장거리 스토리 일관성 모델링에 어떤 영향을 미치는가?

주요 결과

• 다중 수준 맥락 매칭 모델은 베이스라인을 모두 압도하며, 특히 더 어려운 질문(Diff. 3 및 4)에서 뚜렷한 성과 향상을 보이며, 복잡한 추론에 고수준 표현의 효과를 입증한다.
• 고수준 표현이 제거되면 성능이 크게 하락함에 따라, 복잡한 서사 추론을 처리하는 데 있어 고수준 표현의 핵심적 역할을 확인할 수 있다.
• 모델는 시각적 입력만으로는 쉬운 질문(Diff. 1 및 2)에서는 잘 작동하지만, 시각적 세부 정보가 모호하거나 누락된 경우 어려움을 겪는다.
• 시각 입력에서 캐릭터 메타데이터(바운딩 박스, 감정, 행동)를 제거하면 성능이 급격히 떨어지며, 캐릭터 중심 애너테이션의 중요성을 입증한다.
• 스크립트에서의 공참조 해결은 성능 향상에 뚜렷한 기여를 하며, 이를 적용하지 않은 모델은 질문에서 언급된 캐릭터를 정확히 연결하지 못하는 경향이 있다.
• 전체 모델(Our(Full))은 모든 난이도 수준에서 가장 높은 정확도를 기록했으며, 특히 Diff. 3 및 4에서 뚜렷한 성과 향상을 보이며, 다중 수준, 캐릭터 가이드드 추론의 가치를 확인한다.