[논문 리뷰] HACS: Human Action Clips and Segments Dataset for Recognition and Temporal Localization

Hang Zhao, Antonio Torralba외 2명|arXiv (Cornell University)|2017. 12. 26.

Human Pose and Action Recognition참고 문헌 50인용 수 8

한 줄 요약

HACS는 행동 인식 및 시간적 국소화를 위한 대규모 비디오 데이터셋을 소개한다. 이는 150만 개의 클립(이하 HACS Clips)과 139만 개의 조밀한 액션 세그먼트(이하 HACS Segments)를 포함하며, 이는 50만 개의 비정제된 비디오에서 유래한다. 이 데이터셋은 시각적 분류기 간의 공감과 이견을 활용하여 고품질 클립을 추출하며, 사전 훈련 데이터로 최신 기술 성능을 달성하고, 더 짧고 조밀한 세그먼트 레이블 덕분에 세밀한 행동 국소화의 새로운 기준을 설정한다.

ABSTRACT

This paper presents a new large-scale dataset for recognition and temporal localization of human actions collected from Web videos. We refer to it as HACS (Human Action Clips and Segments). We leverage both consensus and disagreement among visual classifiers to automatically mine candidate short clips from unlabeled videos, which are subsequently validated by human annotators. The resulting dataset is dubbed HACS Clips. Through a separate process we also collect annotations defining action segment boundaries. This resulting dataset is called HACS Segments. Overall, HACS Clips consists of 1.5M annotated clips sampled from 504K untrimmed videos, and HACS Seg-ments contains 139K action segments densely annotatedin 50K untrimmed videos spanning 200 action categories. HACS Clips contains more labeled examples than any existing video benchmark. This renders our dataset both a large scale action recognition benchmark and an excellent source for spatiotemporal feature learning. In our transferlearning experiments on three target datasets, HACS Clips outperforms Kinetics-600, Moments-In-Time and Sports1Mas a pretraining source. On HACS Segments, we evaluate state-of-the-art methods of action proposal generation and action localization, and highlight the new challenges posed by our dense temporal annotations.

연구 동기 및 목표

• 높은 레이블 밀도와 세밀한 시간 경계를 가진 대규모, 조밀한 시간적 행동 국소화 데이터셋이 부족한 문제를 해결하기 위해, 높은 정밀도의 시간 경계를 가진 벤치마크를 구축한다.
• 분류기의 공감과 이견을 활용하여 고품질 비디오 클립을 자동으로 추출하는 확장 가능한 자동화된 파이프라인을 개발하여 인간 레이블링의 부담을 줄인다.
• HACS Clips를 행동 인식 모델의 강력한 사전 훈련 소스로 확립하여, 기존의 Kinetics-600 및 Sports1M와 같은 벤치마크를 뛰어넘는 성능을 달성한다.
• HACS Segments에서 최신 행동 제안 및 국소화 방법을 평가하여, 더 짧고 조밀한 행동 세그먼트로 인해 발생하는 새로운 과제를 규명한다.
• ActivityNet와 일치하는 200개 클래스의 통합 분류 체계를 제공하여, 다양한 벤치마크 간 일관된 평가 및 전이 학습을 가능하게 한다.

제안 방법

• 시각적 분류기를 활용한 자동 클립 마이닝: 다양한 예측을 포함한 모델 간 공감(높은 일치도)과 이견(다른 예측)을 기반으로 클립을 선별하여 다양하고 도전적인 예제를 확보한다.
• 인간-중심 검증: 마이닝된 클립은 인간 레이블러가 확인하여 정확한 행동 레이블을 확보하며, 이로써 150만 개의 2초 클립으로 구성된 HACS Clips 데이터셋이 구축된다.
• 조밀한 시간 레이블링 파이프라인: 액션 세그먼트 경계는 모호성을 줄이기 위해 엄격한 지침에 따라 레이블링되며, 이로 인해 ActivityNet 대비 평균 비디오당 1.8배 더 많은 세그먼트를 포함한 HACS Segments를 확보한다.
• 표준화된 평가 지표 사용: 행동 제안 생성에 대해 tIoU 임계치(0.5–0.95) 범위에서 AR@100과 AUC를, 행동 국소화에 대해서는 mAP를 사용한다.
• 전이 학습 실험: HACS Clips에서 사전 훈련한 모델을 타겟 데이터셋(Kinetics, ActivityNet 등)에서 미세조정하여 일반화 성능을 평가한다.
• 부정 클립에 대한 분석: 예를 들어 사람 존재는 있으나 행동이 없는 어려운 부정 예제를 평가하여 행동 제안 생성 모델의 특징 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 분류기 간 공감과 이견을 활용한 자동 마이닝이 인간 레이블링을 위한 고품질이고 다양한 비디오 클립을 효과적으로 식별할 수 있는가?
• RQ2 HACS Clips에서의 사전 훈련 성능가 비교하여, 기존의 벤치마크(Kinetics-600, Moments-in-Time, Sports1M) 대비 행동 인식에 대한 전이 성능에서 어떤 차이가 있는가?
• RQ3 HACS Segments의 레이블 빈도와 시간 정밀도가 ActivityNet 대비 행동 국소화 과제의 난이도를 어느 정도 높이는가?
• RQ4 최신 행동 제안 및 국소화 모델이 HACS Segments에서 어떻게 성능을 내며, 이 데이터셋이 드러내는 과제는 무엇인가?
• RQ5 HACS Clips에서 추출한 어려운 부정 클립이 행동 제안 생성 모델의 강건성 향상에 기여하는가?

주요 결과

• HACS Clips는 50만 4,000개의 비정제된 비디오에서 유래한 150만 개의 레이블링된 클립을 포함하며, Kinetics-600 대비 스케일이 2.5배 더 크고, 하류 행동 인식 벤치마크에서 기존 벤치마크를 뛰어넘는 사전 훈련 소스로 기능한다.
• 세 가지 타겟 데이터셋에서 HACS Clips에서 사전 훈련한 모델은 Kinetics-600, Moments-in-Time, Sports1M에서 사전 훈련한 모델보다 높은 정확도를 달성한다.
• HACS Segments는 5만 개의 비디오에 139만 개의 액션 세그먼트를 포함하며, ActivityNet 대비 세그먼트 수가 4.7배 많고 비디오 수는 2.5배 많으며, 세그먼트의 지속 시간이 현저히 짧다.
• HACS Segments Mini(1만 개의 학습 비디오)에서 행동 제안 생성 성능은 AR@100이 61.85, AUC가 51.59로, BSN의 ActivityNet 성능에 비해 유의미하게 낮아 난이도가 높음을 시사한다.
• SSN 국소화 성능은 HACS Segments Mini에서 mAP가 15.93(비교 기준 ActivityNet의 28.28 대비)이며, 전체 HACS Segments 학습을 통해 mAP는 18.97로 향상되어 더 큰 학습 데이터의 이점을 입증한다.
• TAG는 HACS Segments에서 BSN보다 tIoU가 0.9일 때 더 높은 AUC를 기록하여 경계 국소화 정밀도가 뛰어나며, 세밀한 시간 정렬 과제의 어려움을 강조한다.