[논문 리뷰] A Short Note about Kinetics-600

João Carreira, Eric Noland외 3명|arXiv (Cornell University)|2018. 08. 03.

Human Pose and Action Recognition참고 문헌 5인용 수 303

한 줄 요약

본 논문은 Kinetics-600 데이터셋에 대해 다루며, Kinetics-400을 600개 클래스로 확장하고 각 클래스당 최소 600개 클립을 제공하며, 데이터셋 통계와 기본 I3D 결과를 제시한다.

ABSTRACT

We describe an extension of the DeepMind Kinetics human action dataset from 400 classes, each with at least 400 video clips, to 600 classes, each with at least 600 video clips. In order to scale up the dataset we changed the data collection process so it uses multiple queries per class, with some of them in a language other than english -- portuguese. This paper details the changes between the two versions of the dataset and includes a comprehensive set of statistics of the new version as well as baseline results using the I3D neural network architecture. The paper is a companion to the release of the ground truth labels for the public test set.

연구 동기 및 목표

• DeepMind Kinetics 데이터셋을 400에서 600 클래스로 확장하되 각 클래스당 최소 600개 영상 클립을 가진다.
• 다중 언어 쿼리와 강건한 유사도 매칭을 사용하여 데이터 수집을 개선한다.
• 벤치마킹과 연구를 돕기 위한 상세한 통계와 기본 모델 결과를 제공한다.
• 공개 테스트 세트에 대한 진실 라벨을 공개하여 독립적 평가를 용이하게 한다.

제안 방법

• 영어 및 포르투갈어로 클래스당 다중 쿼리를 사용하여 후보 비디오를 수집한다.
• 메타데이터와 관련 비디오 제목의 가중 n-그램 표현을 적용하여 다언어 간 비디오를 클래스에 매칭한다.
• Kinetics-400과 동일한 파이프라인을 유지한다: 클래스 소싱, 후보 비디오 매칭, 클립 샘플링, 사람 확인, 품질 필터링.
• 클래스 변경과 데이터셋 크기 측면에서 Kinetics-600과 Kinetics-400을 비교한다.

실험 결과

연구 질문

• RQ1 400에서 600으로 확장하는 것이 행동 인식 벤치마크 성능에 어떤 영향을 미치는가?
• RQ2 대규모 행동 데이터셋에서 후보 비디오 수집을 개선하는 데이터 수집 혁신(다국어 쿼리 및 가중 n-그램 매핑)은 무엇인가?
• RQ3 Kinetics-600의 데이터셋 통계와 기본 결과가 Kinetics-400과 비교하여 무엇인가?

주요 결과

Metric	Valid	Test	Test + Held-Out Test
Top-1 Accuracy	71.9%	71.7%	69.7%
Top-5 Accuracy	90.1%	90.4%	89.1%
100-Avg (Top-1,Top-5)	19.0	19.0	20.6%

• Kinetics-600은 약 500k 개의 총 클립을 포함한 600개 클래스로, Kinetics-400 대비 클래스 수가 50% 증가하고 클립 수는 60% 더 많다.
• Kinetics-600에서 처음부터 학습된 기본 I3D 모델은 테스트 세트에서 Top-1 71.7%와 Top-5 90.4%를 달성했다.
• Hold-out 테스트 세트는 표준 테스트 세트보다 더 어렵고 Top-1 69.7% 및 Top-5 89.1%를 보였다.
• Kinetics-600은 Activity-Net 도전에 대한 표준 테스트 세트와 보류 테스트 세트를 포함한다.
• 원래의 Kinetics-400 중 약 368개 클래스가 Kinetics-600에 보존되고, 32개는 이름이 바뀌거나 수정되었으며 일부 재구성되었다.