[논문 리뷰] A Short Note on the Kinetics-700-2020 Human Action Dataset

Smaira, Lucas, João Carreira외 4명|arXiv (Cornell University)|2020. 10. 21.

Anomaly Detection Techniques and Applications참고 문헌 11인용 수 354

한 줄 요약

이 논문은 2020년판 Kinetics-700을 설명하며, 클래스당 클립을 최소 700개로 보충하고 데이터셋 통계, 데이터 수집 상세 및 baseline I3D 결과를 제공합니다.

ABSTRACT

We describe the 2020 edition of the DeepMind Kinetics human action dataset, which replenishes and extends the Kinetics-700 dataset. In this new version, there are at least 700 video clips from different YouTube videos for each of the 700 classes. This paper details the changes introduced for this new release of the dataset and includes a comprehensive set of statistics as well as baseline results using the I3D network.

연구 동기 및 목표

• 2020년 Kinetics-700-2020 데이터셋 버전의 동기와 업데이트를 설명한다.
• 영상 소실 및 희귀 클래스 수율 문제를 다루기 위한 데이터 수집 개선을 제시한다.
• 데이터셋 통계, 다양성 분석 및 I3D 기본 성능을 제공한다.
• 클립 보충이 모델 학습 및 정확도에 어떤 영향을 미치는지 시연한다.

제안 방법

• 각 클래스가 최소 700클립을 확보하도록 데이터셋 편집을 설명한다.
• 희귀 클래스 수율을 높이기 위해 텍스트 쿼리 및 다국어 검색을 강화한다.
• 중복 및 잘못 분류된 클립을 제거하기 위해 중복 제거 및 필터링을 수행한다.
• 최종 데이터셋의 지리적 분포 및 다양성 분석을 보고한다.
• 다양한 훈련 크기로 Kinetics-700-2020에서 처음부터 학습된 baseline I3D RGB 모델을 평가한다.

실험 결과

연구 질문

• RQ1 Kinetics-700-2020에서 이전 에디션과 비교하여 어떤 변화가 도입되었는가?
• RQ2 클립을 클래스당 보충하는 것이 데이터셋의 균형과 모델 성능에 어떤 영향을 미치는가?
• RQ3 향상된 수집 방법으로 희귀 클래스의 수확과 품질이 어떻게 개선되는가?
• RQ4 비디오가 지리적으로 및 언어적으로 얼마나 다양하게 구성되어 있는가?
• RQ5 다양한 학습 데이터 크기에서 Kinetics-700-2020의 I3D RGB 모델은 어떤 기본 성능을 달성하는가?

주요 결과

• Kinetics-700-2020은 클래스당 최소 700클립을 보장하여 Kinetics-700보다 균형이 개선된다.
• 클래스당 학습 예제 수가 증가함에 따라 baseline I3D RGB 성능이 향상되며, top-1/top-5 점수가 100–600+ 예제에서 상승한다.
• Kinetics-700-2020의 I3D RGB 기본 모델은 모든 훈련 데이터에서 검증에서 59.3%/82.0%, 테스트에서 58.2%/80.9%를 달성한다.
• 데이터셋 보충은 영상 소실 문제를 해결하고 분할 간 고정Retention을 유지한다(예: Kinetics-700 train 532,370 retained of 545,317; val 34,056 retained of 35,000; test 67,302 retained of 70,000).
• 다국어 및 확장된 텍스트 쿼리와 중복 제거가 희귀 클래스의 수율을 개선한다(부록 A에 예시 목록).
• 지리적 분포는 북아메리카의 지배가 지속되는 반면, 에디션별로 라틴아메리카 표현이 증가하고 있다.