[논문 리뷰] STAIR Actions: A Video Dataset of Everyday Home Actions

Yuya Yoshikawa, Jiaqing Lin외 1명|arXiv (Cornell University)|2018. 04. 12.

Human Pose and Action Recognition참고 문헌 17인용 수 30

한 줄 요약

이 논문은 100개의 세밀한 일상 주거 동작을 포함하고 있으며, 카테고리당 약 1,000개의 영상이 포함되어 총 102,462개의 영상로 구성된 대규모 비디오 데이터셋인 STAIR Actions를 소개한다. 이 데이터셋은 딥 러닝 모델의 효과적인 훈련을 가능하게 하며, 30프레임 클립을 사용할 경우 3D ResNet-34 모델이 76.5%의 top-1 정확도를 달성하여 주거 환경에서의 행동 인식에 있어 뛰어난 성능을 보여준다.

ABSTRACT

A new large-scale video dataset for human action recognition, called STAIR Actions is introduced. STAIR Actions contains 100 categories of action labels representing fine-grained everyday home actions so that it can be applied to research in various home tasks such as nursing, caring, and security. In STAIR Actions, each video has a single action label. Moreover, for each action category, there are around 1,000 videos that were obtained from YouTube or produced by crowdsource workers. The duration of each video is mostly five to six seconds. The total number of videos is 102,462. We explain how we constructed STAIR Actions and show the characteristics of STAIR Actions compared to existing datasets for human action recognition. Experiments with three major models for action recognition show that STAIR Actions can train large models and achieve good performance. STAIR Actions can be downloaded from http://actions.stair.center

연구 동기 및 목표

• 간호, 돌봄 및 보안 분야의 실생활 응용을 위해, 세밀한 일상 주거 동작에 초점을 맞춘 대규모이고 균형 잡힌 비디오 데이터셋을 개발하기 위해.
• 기존 데이터셋의 한계를 해결하기 위해 일반적이거나 스포츠 관련 동작이 아닌 도메인 전용 실용적 동작 카테고리에 중점을 두기 위해.
• 다양하고 고품질이며 균형 잡힌 데이터셋을 제공하여 대규모 딥 뉴럴 네트워크(DNN)의 행동 인식 훈련을 효과적으로 가능하게 하기 위해.
• 최신 행동 인식 모델의 성능을 이 새로운 데이터셋에서 평가하여 그 유용성과 확장 가능성 검증하기 위해.

제안 방법

• 고품질의 다양성과 실제 세계의 관련성을 확보하기 위해 유튜브 영상과 커뮤니티 기반 영상 제작을 조합하여 데이터셋을 구축하였다.
• 일상적인 주거 활동과 관련된 기본 일본어 동사에 기반하여 100개의 동작 카테고리를 선정하여 세밀하고 실용적인 레이블링을 보장하였다.
• 각 영상의 길이를 5~6초(범위 3~10초)로 잘라내어 클립당 하나의 동작 레이블을 부여함으로써 일관성과 모호성 감소를 확보하였다.
• 성능을 평가하기 위해 이중 스트림 CNN, 3D CNN(ResNet-34), LRCN 등의 주요 딥 러닝 아키텍처를 데이터셋에 대해 훈련시켰다.
• 샘플 길이를 다양하게 조절(16, 30, 60 프레임)하여 모델 정확도 및 훈련 안정성에 미치는 영향을 평가하였다.
• 표준 메트릭(예: top-1 정확도 및 200 에포크 동안의 검증 손실)을 사용하여 데이터셋을 평가하였다.

실험 결과

연구 질문

• RQ1 세밀한 주거 동작에 초점을 맞춘 대규모이고 균형 잡힌 비디오 데이터셋이 행동 인식을 위한 딥 뉴럴 네트워크의 효과적인 훈련을 가능하게 할 수 있는가?
• RQ2 STAIR Actions는 Kinetics, ActivityNet, UCF101과 같은 기존 데이터셋과 비교해 카테고리의 특이성, 영상 품질, 모델 성능 측면에서 어떻게 다른가?
• RQ3 짧고 일상적인 주거 영상에 적용할 경우 행동 인식 모델의 최적 샘플 길이는 무엇인가?
• RQ4 3D CNN가 높은 파라미터 수와 과적합 위험에도 불구하고 STAIR Actions에서 경쟁적인 성능을 달성할 수 있는가?
• RQ5 이중 스트림, 3D CNN, LRCN 등의 다양한 모델 아키텍처가 이 새로운 데이터셋에서 표준 벤치마크와 비교해 어떻게 성능을 내는가?

주요 결과

• 3D ResNet-34 모델은 30프레임 클립을 사용하여 STAIR Actions에서 76.5%의 top-1 정확도를 달성하였으며, 이는 Kinetics에서 보고된 60.1%의 정확도를 초월하였다.
• 30프레임의 샘플 길이가 핵심 행동 순간을 포착하면서도 불필요한 내용을 피하는 데 가장 우수한 균형을 이룩하였다.
• 이중 스트림 CNN은 STAIR Actions에서 평균 융합 정확도 73.7%를 기록하여 공간적 및 시간적 특징을 효과적으로 학습하는 데 뛰어난 성능을 보였다.
• 3D CNN 훈련은 30프레임 클립을 사용하여 200 에포크 동안 안정적인 수렴을 보였으며, 검증 손실은 0.9816, 정확도는 76.46%를 기록하였다.
• STAIR Actions는 3D ResNet-34와 같은 대규모 모델의 효과적인 훈련을 가능하게 하여 스케일러블 행동 인식 연구에 있어 그 유용성을 입증하였다.
• 균형 잡힌 분포와 일상적인 주거 동작에 중점을 둔 특성 덕분에, 이 데이터셋은 헬스케어, 보안 및 로봇 분야의 응용에 특히 적합하다.