[논문 리뷰] TVQA+: Spatio-Temporal Grounding for Video Question Answering

Jie Lei, Licheng Yu외 2명|arXiv (Cornell University)|2019. 04. 25.

Multimodal Machine Learning Applications참고 문헌 62인용 수 25

한 줄 요약

이 논문은 시공간 기반 지문을 제공할 수 있도록 프레임 수준의 바운딩 박스로 보강된 대규모 비디오 질의응답 데이터셋인 TVQA+를 소개한다. 또한 시공간 기반 지문을 수행할 수 있는 종합적인 엔드 투 엔드 프레임워크인 STAGE를 제안하며, 이는 순간 국지화, 개체 기반 지문, 질문 응답을 동시에 수행하여 최신 기술 수준의 성능을 달성한다. 시간적 및 공간적 지도 정보의 유용성이 뚜렷하게 드러난다.

ABSTRACT

We present the task of Spatio-Temporal Video Question Answering, which requires intelligent systems to simultaneously retrieve relevant moments and detect referenced visual concepts (people and objects) to answer natural language questions about videos. We first augment the TVQA dataset with 310.8K bounding boxes, linking depicted objects to visual concepts in questions and answers. We name this augmented version as TVQA+. We then propose Spatio-Temporal Answerer with Grounded Evidence (STAGE), a unified framework that grounds evidence in both spatial and temporal domains to answer questions about videos. Comprehensive experiments and analyses demonstrate the effectiveness of our framework and how the rich annotations in our TVQA+ dataset can contribute to the question answering task. Moreover, by performing this joint task, our model is able to produce insightful and interpretable spatio-temporal attention visualizations. Dataset and code are publicly available at: http: //tvqa.cs.unc.edu, https://github.com/jayleicn/TVQAplus

연구 동기 및 목표

• 기존 비디오 QA 데이터셋에서 공간 기반 지문의 부족을 해결하기 위해 질문 및 답변에서 언급된 개체와 사람들을 프레임 수준의 바운딩 박스로 연결하는 데이터 수집.
• 관련 비디오 순간과 시각적 영역을 동시에 국지화해야 하는 새로운 과제인 시공간 비디오 질의응답을 제안.
• 순간 국지화, 개체 기반 지문, 질문 응답을 통합하는 종합적이고 엔드 투 엔드로 학습 가능한 모델인 STAGE를 설계.
• 시공간 지도 정보가 QA 성능과 모델의 해석 가능성에 미치는 영향을 체계적인 분석 및 시각화를 통해 평가.
• 향후 기반 비디오 이해 연구를 가능하게 하기 위해 공개된 데이터셋과 코드베이스 제공.

제안 방법

• 질문 및 답변에서 언급된 시각적 개념과 프레임 내 특정 개체 및 사람들을 연결하는 310.8K개의 바운딩 박스로 TVQA 데이터셋을 보강.
• 시간 간격 예측, 바운딩 박스를 통한 기반 개체 탐지, 다중 모odal 특징을 활용한 질문 응답을 동시에 수행하는 통합 모델인 STAGE 설계.
• 비디오 및 자막 특징을 갖춘 이중 스트림 인코더를 사용하며, QA 쌍에 따라 조건부로 특징을 융합하여 다중 모달 이해를 강화.
• 스팬 프로포절 네트워크와 영역 프로포절에서 유도된 국소 특징 풀링($G^l$)을 도입하여 답변 예측 성능 향상.
• 시간 국지화 및 공간 기반 지문에 대해 명시적인 지도 정보를 제공하며, 각 구성 요소에 대한 손실 함수 적용.
• 텍스트 인코딩에 BERT를 사용하고, 다중 과제 목적함수를 기반으로 엔드 투 엔드 학습 수행.

실험 결과

연구 질문

• RQ1 비디오 QA 데이터셋에 공간 기반 지문 애너테이션을 추가하면 최종 질문 응답 성능에 어떤 영향을 미치는가?
• RQ2 통합 모델이 순간 국지화, 개체 기반 지문, 질문 응답을 동시에 최적화함으로써 정확도와 해석 가능성 향상에 기여할 수 있는가?
• RQ3 시간적 및 공간적 지도 신호가 비디오 이해에서 QA 성능 향상에 얼마나 기여하는가?
• RQ4 스폰 프로포절이나 국소 특징과 같은 다양한 모델 구성 요소가 시공간 QA 과제의 최종 성능에 미치는 영향은 어떠한가?
• RQ5 모델이 인간의 추론 방식과 일치하는 의미 있고 해석 가능한 주의 시각화를 생성할 수 있는가?

주요 결과

• 전체 STAGE 모델은 TVQA 테스트-퍼블릭 세트에서 70.23%의 QA 정확도를 달성하여 이전 최고 성능 대비 3.91% 상대적 향상을 기록했다.
• 시간적 지도 정보를 추가함으로써 검증 세트에서 QA 정확도가 68.56%에서 70.50%로 향상되어 그 효과가 입증되었다.
• 공간적 지도 정보는 개체 기반 지문 mAP에서 121.92%의 상대적 향상을 이끌어내어 국지화 성능 향상에 강력한 영향을 미친다.
• 스폰 프로포절 영역에서 유도된 국소 특징($G^l$)의 사용이 모든 지표에서 최고의 성능을 기록하여 관련 단서를 포착하는 데서 그 가치가 뚜렷하다.
• 추론 시 참값 스포트를 사용한 모델은 71.45%의 QA 정확도를 기록하여 성능 향상이 개선된 국지화에 기인함을 확인했다.
• 정성적 분석 결과, STAGE는 인간의 추론과 일치하는 해석 가능한 시공간 주의 시각화를 생성하여 모델의 해석 가능성 향상에 기여한다.