[논문 리뷰] The Kinetics Human Action Video Dataset

Will Kay, João Carreira외 10명|arXiv (Cornell University)|2017. 05. 19.

Human Pose and Action Recognition참고 문헌 4인용 수 2,882

한 줄 요약

DeepMind Kinetics 데이터세트를 400개 액션 클래스로 구성하고 YouTube에서 약 306k개의 비디오 클립을 인간 액션 분류에 사용할 수 있도록 제공하며, 여러 아키텍처에 대한 기본 결과와 예비 편향 분석을 제시합니다.

ABSTRACT

We describe the DeepMind Kinetics human action video dataset. The dataset contains 400 human action classes, with at least 400 video clips for each action. Each clip lasts around 10s and is taken from a different YouTube video. The actions are human focussed and cover a broad range of classes including human-object interactions such as playing instruments, as well as human-human interactions such as shaking hands. We describe the statistics of the dataset, how it was collected, and give some baseline performance figures for neural network architectures trained and tested for human action classification on this dataset. We also carry out a preliminary analysis of whether imbalance in the dataset leads to bias in the classifiers.

연구 동기 및 목표

• 대규모의 다양하고 넓은 범위의 인간 액션 분류 벤치마크를 제공하여 딥 러닝 방법을 발전시키려는 목적.
• 액터, 시점, 조명 및 배경의 변화를 극대화하기 위해 다양하게 수집된 YouTube 비디오에서 클립을 확보하려는 목적.
• 비디오 이해를 위한 아키텍처 선택을 안내하기 위한 기본 모델 성능을 제공하려는 목적.
• 데이터 세트 편향(예: 성별 또는 인구통계학적 편향)과 그것이 분류기에 미치는 영향을 분석하려는 목적.

제안 방법

• YouTube에서 단일 액션, 2인 간 상호작용, 그리고 사람–물체 상호작용으로 구성된 400개 액션 클래스를 큐레이션합니다.
• YouTube 검색 및 이미지 검색 피드백에서 학습된 이미지 분류기를 사용한 시간적 로컬라이제이션을 통해 후보 클립을 수집합니다.
• 타깃 액션을 나타내는지 확인하기 위해 Mechanical Turk를 활용한 사람 검증을 수행하고 다수의 양성 확인이 필요합니다.
• Inception-V1 피처 유사도 및 코사인 임계값을 사용하여 비디오 간 클립 중복을 제거하고 비디오당 하나의 클립이 되도록 합니다.
• Kinetics에서 ConvNet+LSTM, Two-Stream, 3D-ConvNet의 세 가지 기본 비디오 아키텍처를 처음부터 학습하고, 가능할 경우 ImageNet 사전 학습을 적용하여 Top-1/Top-5 결과를 보고합니다.
• 데이터 셋 편향에 대해 논의하고 성별 균형과 잠재적 분류기 편향에 대한 예비 분석을 수행합니다.

실험 결과

연구 질문

• RQ1 딥 네트워크를 robust하게 학습시키기 위해 비디오 액션 데이터셋은 얼마나 크고 다양해야 하는가?
• RQ2 Kinetics에서 표준 비디오 아키텍처의 기본 성능은 어느 정도이며, 이는 UCF-101 및 HMDB-51과 같은 기존 데이터셋과 어떻게 비교되는가?
• RQ3 Kinetics 데이터셋에 성별 또는 인구통계학적 편향이 존재하여 분류기 공정성에 영향을 미치는가, 그리고 이러한 편향은 예비 분석으로 얼마나 탐지 가능한가?
• RQ4 웹 비디오에서 대규모의 고품질 액션 데이터셋을 구성하기 위해 어떤 데이터 수집 및 정리 전략이 효과적인가?

주요 결과

• Kinetics는 400개 액션 클래스를 포함하며 각 클래스당 400–1150개의 클립이 있어 총 306,245개의 비디오와 306,245개의 클립으로 구성되며 각 클립은 약 10초입니다.
• Kinetics에서 처음부터 학습된 기본 아키텍처는 UCF-101 및 HMDB-51에서의 성능보다 낮은 것으로 나타났으며, 이는 데이터셋의 더 큰 난이도와 다양성을 강조합니다.
• 세 가지 기본 모델이 평가되었으며: ConvNet+LSTM, Two-Stream, 그리고 3D ConvNet으로, 입력 모달리티와 시간적 발자국의 차이로 인해 시간적 모델링과 계산 비용 간의 트레이드오프를 보여줍니다.
• 예비 편향 분석은 대부분의 클래스에서 성별 기반 분류기 편향의 강한 증거가 없음을 시사하지만, 일부 예외(예: 수염 다듬기 남성 중심, 농구 던지기 남성 중심, 눈썹 채우기 여성 중심)가 존재하며 더 심층적인 연구가 필요합니다.
• 논문은 기본 TensorFlow 구현을 제공하고 재현 가능성을 높이기 위한 전처리, 데이터 증강 및 학습 절차를 논의합니다.