[논문 리뷰] TutorialVQA: Question Answering Dataset for Tutorial Videos

Anthony Colas, Seokhwan Kim외 4명|arXiv (Cornell University)|2019. 12. 02.

Multimodal Machine Learning Applications참고 문헌 17인용 수 4

한 줄 요약

이 논문은 영상 편집 도구의 스크린캐스트 튜토리얼 영상에서 수작업으로 수집한 약 6,000개의 (영상, 질문, 답변 구간) 트리플을 포함하는 새로운 비디오 질의응답 데이터셋인 TutorialVQA를 소개한다. 이 작업은 사실에 기반하지 않은 다단계 답변을 영상 구간으로 국소화하는 데 중점을 두며, 짧은 텍스트 답변이 아닌 영상 구간으로서의 답변을 요구한다. 기준 성능 결과는 낮은 성능을 보이며, 이는 작업이 도전적이며 정확한 영상 구간 국소화를 위해 새로운 모델이 필요하다는 것을 시사한다.

ABSTRACT

Despite the number of currently available datasets on video question answering, there still remains a need for a dataset involving multi-step and non-factoid answers. Moreover, relying on video transcripts remains an under-explored topic. To adequately address this, We propose a new question answering task on instructional videos, because of their verbose and narrative nature. While previous studies on video question answering have focused on generating a short text as an answer, given a question and video clip, our task aims to identify a span of a video segment as an answer which contains instructional details with various granularities. This work focuses on screencast tutorial videos pertaining to an image editing program. We introduce a dataset, TutorialVQA, consisting of about 6,000manually collected triples of (video, question, answer span). We also provide experimental results with several baselines algorithms using the video transcripts. The results indicate that the task is challenging and call for the investigation of new algorithms.

연구 동기 및 목표

• 사실에 기반하지 않은 다단계 질문에 대해 짧은 텍스트 응답이 아닌 영상 구간 기반의 응답을 지원하는 비디오 질의응답 데이터셋의 부족을 보완하기 위해.
• 응답이 여러 세그먼트에 분산되어 있으며 세밀한 국소화가 필요한 지침 영상 스크린캐스트 영상에 중점을 둔 데이터셋을 만들기 위해.
• 기존 VQA 벤치마크에서 활용도가 낮은 장시간 지속되는 튜토리얼 영상에서 비디오 전사본을 사용하여 답변 구간 국소화의 가능성을 탐색하기 위해.
• 문장 수준 예측 및 영상 세그먼트 검색 작업에 대한 기준 모델을 평가하여, 답변 구간 국소화의 심각한 과제를 드러내기 위해.
• 현재 모델이 정확한 답변 구간 국소화에 어려움을 겪고 있음에도 불구하고 정확한 영상 영역을 식별할 수 있음을 보여주어未래 연구를 촉진하기 위해.

제안 방법

• 데이터셋인 TutorialVQA는 영상 클립, 자연어 질문, 그리고 영상 내 해당하는 답변 구간을 수작업으로 수집한 6,000개의 트리플로 구성된다.
• 답변 구간은 사실에 기반하지 않은 '어떻게 하기' 질문에 대한 완전한 답변을 포함하는 영상의 연속적인 세그먼트로 정의되며, 다양한 정밀도를 가진다.
• 기준 모델은 비디오 전사본, 질문, 후보 세그먼트를 TF-IDF 벡터화하여 인코딩한 후, 코사인 유사도를 사용하여 가장 관련성이 높은 세그먼트를 식별한다.
• 첫 번째 기준 모델은 경계 오차를 고려하기 위해 허용 구간을 가진 문장 수준 예측을 수행한다.
• 두 번째 기준 모델은 TF-IDF 코사인 유사도 기반으로 상위 10개의 가장 유사한 영상 세그먼트를 필터링한 후, 각 세그먼트 내에서 가장 적절한 것을 선택하는 영상 세그먼트 검색을 수행한다.
• 세 번째 기준 모델은 영상 필터링과 세그먼트 선택을 결합하여, 전체 성능과 정확한 영상이 상위 10개 내에 포함된 조건부 성능을 평가한다.

실험 결과

연구 질문

• RQ1 기존의 비디오 질의응답 모델은 지침 영상에서 다단계이고 사실에 기반하지 않은 답변을 영상 구간으로 효과적으로 국소화할 수 있는가?
• RQ2 장시간 지속되는 튜토리얼 영상에서 비디오 전사본만을 사용하여 답변 구간 국소화가 얼마나 효과적인가?
• RQ3 먼저 관련 영상을 필터링하여 검색 공간을 줄이면 세그먼트 검색 정확도가 향상되는가?
• RQ4 정확한 영역을 식별한 후에도 현재 모델이 왜 정확한 답변 경계를 국소화하지 못하는가?
• RQ5 포인터 네트워크와 같은 아키텍처 개선 사항은 어떻게 답변 경계 예측 정확도를 향상시킬 수 있는가?

주요 결과

• 경계 오차를 고려한 허용 구간을 사용한 첫 번째 기준 모델은 창크 크기가 6일 때 14.43%의 정확도를 기록하여 경계 국소화가 매우 열악함을 시사한다.
• 영상 세그먼트 검색을 수행하는 두 번째 기준 모델은 문장 수준 예측 작업에서 23.41%의 정확도를 기록하여 효과가 제한적임을 보여준다.
• 정확한 영상가 상위 10개 내에 포함된 경우, 세그먼트 검색 정확도는 63.85%로 상승하여 영상 필터링이 성능 향상에 크게 기여함을 시사한다.
• 오류 분석 결과, 92%의 잘못된 예측이 정답 구간과 겹치지만 경계 선택이 정확하지 않음을 확인하여, 더 나은 경계 모델링이 필요함을 시사한다.
• 포인터 네트워크를 사용함으로써 답변 예측의 검색 공간은 n²에서 2n으로 줄어들어, 모든 가능한 구간이 아닌 경계 문장에 집중함으로써 정확도 향상 가능성이 있다.
• 결과적으로 현재 모델은 이 작업에 부적합하며, 시각적 및 텍스처 신호를 통합하는 신규 아키텍처와 다중모odal 접근 방식의 필요성을 강조한다.