[논문 리뷰] A dataset and exploration of models for understanding video data through fill-in-the-blank question-answering

Tegan Maharaj, Nicolas Ballas외 3명|arXiv (Cornell University)|2016. 11. 23.

Multimodal Machine Learning Applications참고 문헌 36인용 수 6

한 줄 요약

이 논문은 시각 장애인이 사용하는 기술적 설명 영상(Descriptive Video Service, DVS)의 전사문을 바탕으로 30만 개 이상의 예제를 포함한 대규모 채워 넣기 형식의 비디오 질의응답 데이터셋인 MovieFIB를 소개한다. 다섯 가지 모델을 평가한 결과, 2D 및 3D 시각적 특징을 융합한 모델이 텍스트 전용 모델보다 유의미하게 뛰어나지만, 모든 모델가 여전히 인간 성능에 크게 뒤져, 향후 비디오 이해 모델의 개선이 절실한 필요성을 드러낸다.

ABSTRACT

While deep convolutional neural networks frequently approach or exceed human-level performance at benchmark tasks involving static images, extending this success to moving images is not straightforward. Having models which can learn to understand video is of interest for many applications, including content recommendation, prediction, summarization, event/object detection and understanding human visual perception, but many domains lack sufficient data to explore and perfect video models. In order to address the need for a simple, quantitative benchmark for developing and understanding video, we present MovieFIB, a fill-in-the-blank question-answering dataset with over 300,000 examples, based on descriptive video annotations for the visually impaired. In addition to presenting statistics and a description of the dataset, we perform a detailed analysis of 5 different models' predictions, and compare these with human performance. We investigate the relative importance of language, static (2D) visual features, and moving (3D) visual features; the effects of increasing dataset size, the number of frames sampled; and of vocabulary size. We illustrate that: this task is not solvable by a language model alone; our model combining 2D and 3D visual information indeed provides the best result; all models perform significantly worse than human-level. We provide human evaluations for responses given by different models and find that accuracy on the MovieFIB evaluation corresponds well with human judgement. We suggest avenues for improving video models, and hope that the proposed dataset can be useful for measuring and encouraging progress in this very interesting field.

연구 동기 및 목표

• 비디오 이해 모델을 위한 대규모이고 정량적인 벤치마크의 부족 문제를 해결하기 위해.
• 기존의 기술적 설명 영상 전사문을 활용해 자동으로 비디오 질의응답 데이터를 생성할 수 있는 확장 가능한 방법을 개발하기 위해.
• 언어, 정적(2D), 동적(3D) 시각적 특징이 비디오 이해에 기여하는 정도를 평가하기 위해.
• 학습 데이터 크기와 모델 아키텍처가 성능에 미치는 영향을 평가하기 위해.
• MovieFIB에서의 분류 정확도가 인간 평가와 상관관계가 있음을 검증하기 위해.

제안 방법

• DVS 전사문에서 키워드(엔티티, 동작, 속성 등)를 마스킹한 채워 넣기 형식의 질문을 자동으로 생성함으로써 데이터셋을 구축함.
• 다섯 가지 기준 모델을 학습함: LSTM 기반 언어 모델을 사용하는 텍스트 전용 모델, GoogLeNet을 통해 추출한 2D 시각적 특징과 C3D를 통해 추출한 3D 운동 특징을 융합한 모델.
• 시각적 특징은 사전 학습된 CNN(GoogLeNet을 2D용, C3D를 3D용으로 사용)를 통해 추출되며, 분류를 위해 다층 퍼셉트론(MLP)에 앞서 특징을 연결함.
• 모델들은 30만 개의 예제로 구성된 데이터셋에서 학습 및 평가되며, 빈 칸에 들어갈 단어의 정확도를 기준으로 성능을 측정함.
• 모델 출력과 인간 평가 간의 관련성 및 정확도를 비교하기 위해 Amazon Mechanical Turk를 통해 인간 평가를 실시함.
• 보조 파라미터 분석을 통해 어휘 크기, 추출한 프레임 수, 학습 세트 크기의 영향을 분석함.

실험 결과

연구 질문

• RQ1 DVS 전사문을 기반으로 한 채워 넣기 형식의 QA 작업이 비디오 이해를 위한 강력하고 확장 가능한 벤치마크로 기능할 수 있는가?
• RQ2 언어 전용 모델은 이 비디오 QA 작업에서 어느 정도 성공을 거두는가?
• RQ3 2D 및 3D 시각적 특징이 개별적으로나 함께 기여할 때 모델 성능에 미치는 영향은 어떠한가?
• RQ4 학습 데이터 크기를 늘일 경우, 특히 시각적 모델과 텍스트 전용 모델 간에 성능 향상 속도에 어떤 차이가 있는가?
• RQ5 MovieFIB에서의 모델 정확도가 인간 평가의 응답 품질과 상관관계가 있는가?

주요 결과

• 언어 모델만으로는 채워 넣기 작업을 해결할 수 없으며, 이는 이 비디오 이해 평가 벤치마크에서 시각적 이해가 필수적임을 시사한다.
• 2D 및 3D 시각적 특징을 융합한 모델이 가장 높은 성능을 기록했으며, 이는 공간적 및 시간적 시각적 신호가 정확한 비디오 이해에 핵심적임을 입증한다.
• 모든 모델가 인간 성능에 크게 뒤져, 검증 세트에서 가장 뛰어난 모델의 정확도가 21.0%에 불과하여 현재 모델의 능력에 큰 격차가 있음을 시사한다.
• 비디오 기반 모델은 텍스트 전용 모델보다 학습 데이터 크기가 증가할수록 성능 향상 속도가 더 빠르며, 이는 시각적 모델이 데이터 스케일에 더 크게 기여함을 시사한다.
• 각 답변 단어에 대한 진짜 양성률은 학습 세트 내 단어 빈도와 강하게 상관관계가 있으며, 이는 희귀어가 여전히 주요 과제임을 시사한다.
• MovieFIB에서의 모델 정확도는 인간 평가와 강하게 상관관계가 있으며, 이는 분류 정확도가 비디오 이해 모델의 벤치마크에 신뢰할 수 있는 지표임을 확인한다.