[논문 리뷰] ActivityNet-QA: A Dataset for Understanding Complex Web Videos via Question Answering

Yu Zhou, Dejing Xu외 5명|arXiv (Cornell University)|2019. 06. 06.

Multimodal Machine Learning Applications참고 문헌 37인용 수 11

한 줄 요약

이 논문은 ActivityNet에서 유튜브 영상 5,800개에서 유래한 장시간이고 복잡한 웹 영상 58,000개의 QA 쌍을 포함하는 대규모, 완전히 인간이 애너테이션한 비디오 질의응답 데이터셋인 ActivityNet-QA를 소개한다. 연구에서는 VideoQA 기반 모델을 평가하고, 동적 샘플링 및 평균 풀링 융합 전략이 특히 시공간적 추론이 필요한 장시간 영상에서 성능 향상에 뚜렷한 기여를 한다는 것을 입증한다.

ABSTRACT

Recent developments in modeling language and vision have been successfully applied to image question answering. It is both crucial and natural to extend this research direction to the video domain for video question answering (VideoQA). Compared to the image domain where large scale and fully annotated benchmark datasets exists, VideoQA datasets are limited to small scale and are automatically generated, etc. These limitations restrict their applicability in practice. Here we introduce ActivityNet-QA, a fully annotated and large scale VideoQA dataset. The dataset consists of 58,000 QA pairs on 5,800 complex web videos derived from the popular ActivityNet dataset. We present a statistical analysis of our ActivityNet-QA dataset and conduct extensive experiments on it by comparing existing VideoQA baselines. Moreover, we explore various video representation strategies to improve VideoQA performance, especially for long videos. The dataset is available at https://github.com/MILVLG/activitynet-qa

연구 동기 및 목표

• 기존의 VideoQA 데이터셋이 소규모이거나 자동 생성되며, 영상 길이가 짧고 행동 다양성이 제한되어 있다는 한계를 해결하기 위해.
• ActivityNet 데이터셋에서 유래한 장시간이고 복잡한 웹 영상들을 활용하여 대규모, 완전히 인간이 애너테이션한 VideoQA 벤치마크를 구축하기 위해.
• 기존의 VideoQA 기반 모델을 사용하여 새로운 데이터셋의 난이도를 평가하고, 영상 표현 전략의 영향을 분석하기 위해.
• 장시간 영상 이해를 위한 효과적인 영상 특징 추출 및 융합 기법을 탐색하기 위해.
• 미래의 多국어 VideoQA 연구를 지원하기 위해 이중어로 정렬된 QA 자원을 제공하기 위해.

제안 방법

• ActivityNet의 5,800개 영상에서 각 영상당 10개의 인간 애너테이션 QA 쌍을 수집하여 총 58,000개의 QA 쌍을 확보하였다.
• I3D 네트워크를 활용한 다중 스트림 영상 특징 추출 파이프라인을 적용하여 외관 및 운동 특징을 생성하였다.
• 대표적인 영상 단위를 추출하기 위해 동적 샘플링(DS) 및 고정 샘플링(FS) 전략을 적용하였으며, DS는 행동 밀도가 높은 세그먼트를 우선적으로 선택한다.
• 시공간적 추론을 향상시키기 위해 시간적 주의 메커니즘과 평균 풀링을 활용한 특징 융합을 적용하였다.
• 다양한 융합 및 샘플링 전략을 적용한 여러 VideoQA 모델(E-VQA, E-MN, E-SA)을 데이터셋에서 평가하였다.
• 샘플링 빈도(T = 20, 40, 60)와 융합 방법에 대한 추론 실험을 통해 성능의 상호 보완성과 상충 관계를 분석하였다.

실험 결과

연구 질문

• RQ1 기존의 VideoQA 모델은 ActivityNet-QA와 같이 대규모, 장시간, 인간 애너테이션 기반의 데이터셋에서 일반화 성능을 얼마나 잘 유지하는가?
• RQ2 고정 샘플링 대비 동적 샘플링 전략이 장시간 영상에서 VideoQA 정확도에 미치는 영향은 어떠한가?
• RQ3 평균 풀링, 최대 풀링, 조기 융합 중 어떤 영상 특징 융합 전략이 가장 높은 성능과 강건성을 보이는가?
• RQ4 다양한 샘플링 빈도(T = 20, 40, 60)는 모델 정확도와 계산 복잡도에 어떤 영향을 미치는가?
• RQ5 현재의 VideoQA 모델은 시간적 추론와는 대비하여 정적 프레임 이해에 대해 어떤 실패 양상을 보이며, 향후 연구의 핵심 과제는 무엇인가?

주요 결과

• 모든 질문 유형에서 E-SA 모델이 E-VQA 및 E-MN를 압도적으로 뛰어넘었으며, Yes/No 질문에서는 59.4%의 정확도를 기록하고, '기타' 유형 질문에서는 28.4%의 정확도를 달성하였다.
• 동적 샘플링(DS)은 고정 샘플링(FS) 대비 모든 기반 모델에서 최소 1% 이상의 성능 향상을 보였으며, 행동 관련 프레임을 효과적으로 포착한다는 점을 입증하였다.
• 모든 샘플링 빈도 및 방법에서 평균 풀링 융합 전략가 가장 높은 정확도와 가장 뛰어난 강건성을 확보하였다.
• 샘플링 빈도가 증가함에 따라(FS에서 DS로 T = 20에서 60으로), 고정 샘플링과 동적 샘플링 간의 성능 격차가 좁혀졌으며, 이는 더 높은 빈도의 샘플링이 영상의 세부 정보를 더 잘 유지한다는 것을 시사한다.
• 밀도 높은 샘플링(T = 60)은 모델의 복잡도를 증가시키고 성능을 저하시키는 경향을 보이며, 세부 정보 확보와 효율성 사이의 상충 관계를 보여준다.
• 정성적 분석 결과, 모델는 정적 프레임 중심의 질문에서는 성공률이 높지만, 시간적 추론이 필요한 질문에서는 실패하는 경향을 보이며, 향후 연구의 핵심 과제로 남아 있음을 확인하였다.