[논문 리뷰] NExT-QA:Next Phase of Question-Answering to Explaining Temporal Actions

Junbin Xiao, Xindi Shang외 2명|arXiv (Cornell University)|2021. 05. 18.

Multimodal Machine Learning Applications참고 문헌 63인용 수 10

한 줄 요약

NExT-QA는 5,440개의 영상과 52,000개의 질문-답변 쌍을 포함하는 대규모 수동 컨스텔레이션 영상 질의응답 벤치마크를 도입하여 영상 이해를 기술적 이해를 넘어 원인과 시간적 행동 추론으로 발전시킨다. 기술적 질문에 대해서는 뛰어난 성능을 보이지만, 최신 기술 모델들은 원인 및 시간적 추론에서 심각한 실패를 보이며, 특히 개방형 QA에서 이러한 문제가 두드러져 모델이 답변 선택을 넘어서 이해하는 데 근본적인 격차가 있음을 드러낸다.

ABSTRACT

We introduce NExT-QA, a rigorously designed video question answering (VideoQA) benchmark to advance video understanding from describing to explaining the temporal actions. Based on the dataset, we set up multi-choice and open-ended QA tasks targeting causal action reasoning, temporal action reasoning, and common scene comprehension. Through extensive analysis of baselines and established VideoQA techniques, we find that top-performing methods excel at shallow scene descriptions but are weak in causal and temporal action reasoning. Furthermore, the models that are effective on multi-choice QA, when adapted to open-ended QA, still struggle in generalizing the answers. This raises doubt on the ability of these models to reason and highlights possibilities for improvement. With detailed results for different question types and heuristic observations for future works, we hope NExT-QA will guide the next generation of VQA research to go beyond superficial scene description towards a deeper understanding of videos. (The dataset and related resources are available at https://github.com/doc-doc/NExT-QA.git)

연구 동기 및 목표

• 영상 속 행동의 원인 및 시간적 관계를 깊이 있는 설명으로 이해하는 데로 영상 이해를 발전시키기 위해.
• 실제 영상 콘텐츠에서 원인 및 시간적 추론을 철저히 평가할 수 있는 벤치마크 부족 문제를 해결하기 위해.
• 표면적 인식을 넘어서는 추론을 목표로 다중 선택 및 개방형 QA 작업을 도입하여 기존 영상 질의응답 모델에 도전하기 위해.
• 복잡한 영상 이해에서 모델의 일반화 및 추론 능력을 평가할 수 있는 진단 도구를 제공하기 위해.
• 향후 연구가 진정으로 행동 시퀀스와 그 배경 원인을 이해하는 데 중점을 둔 모델 개발로 이어지도록 유도하기 위해.

제안 방법

• 5,440개의 실제 영상은 VidOR에서 확보되었으며, 수동으로 주석 처리된 질문-답변 쌍이 원인, 시간적, 기술적 카테고리로 분류되어 있다.
• 두 가지 작업 유형이 정의된다: 다중 선택 QA(5개의 후보 답변이 있는)와 개방형 QA(영상과 질문 신호에 기반해 자유형 답변을 생성하는)이다.
• HGA, EVQA, PSAC+, STVQA를 포함한 최신 기술 영상 질의응답 모델을 두 작업 유형 모두에서 종합적으로 평가한다.
• 다중 선택 QA의 성능은 정확도로 측정하고, 개방형 QA의 성능은 생성된 답변의 의미 유사도를 평가하기 위해 WUPS 점수를 사용한다.
• 시각적 특징은 외관 및 운동 인코더를 통해 추출되며, 텍스트 표현은 언어 모델링을 위해 BERT와 GloVe를 사용한다.
• 행동과 물체 간의 시간적 및 원인적 관계를 명시적으로 모델링하기 위해 그래프 기반 모델(예: HGA)을 탐색한다.

실험 결과

연구 질문

• RQ1 최신 기술 영상 질의응답 모델들은 기술적 질문을 넘어서 영상 행동의 원인 및 시간적 관계를 추론하는 데 일반화할 수 있는가?
• RQ2 다중 선택 및 개방형 QA 작업은 추론 및 언어 생성 능력의 모델 한계를 어떻게 다르게 드러내는가?
• RQ3 BERT와 같은 사전 학습된 언어 모델이 GloVe와 같은 단어 임베딩에 비해 원인 및 시간적 질문 추론에서 얼마나 향상되는가?
• RQ4 다중 선택 QA에서 잘 성능을 내는 모델들이 개방형 QA로 변환되었을 때 실패하는 이유는 무엇이며, 이는 그들의 추론 능력에 대해 어떤 시사점을 갖는가?
• RQ5 시각적 특징 융합 전략(외관 대비 운동)이 원인 및 시간적 추론 작업 성능에 어떤 영향을 미치는가?

주요 결과

• 최고 성능을 내는 영상 질의응답 모델들은 기술적 질문(예: 물체 및 행동 인식)에서 강력한 성과를 내지만, 원인 및 시간적 다중 선택 질문에서는 약 10%의 성능 격차를 보인다.
• 개방형 QA에서는 원인 및 시간적 질문에서 성능 격차가 약 30%로 더욱 커지며, 이는 추론 및 생성 능력에 심각한 한계가 있음을 시사한다.
• HGA와 같은 그래프 기반 모델은 원인 및 시간적 추론에서 뛰어난 성능을 보이며, 영상 내 관계 구조를 모델링하는 데 유용함을 시사한다.
• 사전 학습된 BERT 표현은 원인 및 시간적 질문 추론 작업에서 GloVe를 능가하지만, BERT가 텍스트 기반 QA에 치우쳐 있다는 점을 감안할 때도 마찬가지다.
• 다중 선택 QA에서 훈련된 모델들은 개방형 QA에서 심각한 어려움을 겪으며, 이는 답변 선택에 의존할 가능성이 높고, 기반 추론이나 언어 생성 능력에 의존하지 않을 수 있음을 시사한다.
• 더 긴 질문과 답변에 대해 일관되고 정확한 답변을 생성하지 못하는 것은, 시각적 특징이 제공되더라도 언어 이해 및 생성 능력에 약점이 있음을 드러낸다.