[논문 리뷰] PKU-MMD: A Large Scale Benchmark for Continuous Multi-Modal Human Action Understanding

Chunhui Liu, Yueyu Hu외 3명|arXiv (Cornell University)|2017. 03. 22.

Human Pose and Action Recognition참고 문헌 46인용 수 148

한 줄 요약

PKU-MMD는 1076개의 긴 동영상, 51개의 행동 클래스, 66명의 피실험자, 그리고 3개의 카메라 뷰를 갖춘 대규모 연속 다중 모드 3D 행동 데이터셋(RGB, 깊이, IR, 스켈레톤)을 소개하며, 행동 탐지를 위한 새로운 2D-AP 평가 프로토콜을 추가합니다.

ABSTRACT

Despite the fact that many 3D human activity benchmarks being proposed, most existing action datasets focus on the action recognition tasks for the segmented videos. There is a lack of standard large-scale benchmarks, especially for current popular data-hungry deep learning based methods. In this paper, we introduce a new large scale benchmark (PKU-MMD) for continuous multi-modality 3D human action understanding and cover a wide range of complex human activities with well annotated information. PKU-MMD contains 1076 long video sequences in 51 action categories, performed by 66 subjects in three camera views. It contains almost 20,000 action instances and 5.4 million frames in total. Our dataset also provides multi-modality data sources, including RGB, depth, Infrared Radiation and Skeleton. With different modalities, we conduct extensive experiments on our dataset in terms of two scenarios and evaluate different methods by various metrics, including a new proposed evaluation protocol 2D-AP. We believe this large-scale dataset will benefit future researches on action detection for the community.

연구 동기 및 목표

• 동작 탐지를 위한 데이터-집약적 심층학습 방법을 가능하게 하기 위한 대규모의 연속 액션 데이터 세트의 필요성을 해결한다.
• RGB, depth, infrared, skeleton의 다중 모달 데이터를 3대 카메라 뷰에서 제공하여 모달리티 간 보완 정보를 연구한다.
• 잘라지지 않은 비디오에서 시간적 위치 추정 및 행동 분류를 포함한 행동 탐지 평가를 가능하게 한다.
• 정밀도-재현율(PR)을 공동으로 고려하는 새로운 평가 프로토콜(2D-AP)을 도입한다.

제안 방법

• Kinect v2를 사용하여 RGB, depth, infrared, 그리고 스켈레톤 데이터를 얻기 위한 길고 긴 다중 뷰 시퀀스를 수집한다.
• 1076개의 비디오에 걸쳐 51개 행동 클래스(일상 및 상호작용 행동)에서 20개 행동 인스턴스의 시간적 경계를 주석 처리한다.
• 다중 모달 표현(Raw Skeleton, Convolution Skeleton, Deep RGB, Deep Optical Flow)을 제안하고 교차 뷰 및 교차 피실험자 설정에서 평가한다.
• 슬라이딩 윈도우 BLSTM/SVM, STA-LSTM, JCRRNN 등의 시간 탐지 전략을 탐색하고 모달리티를 융합하여 탐지 성능을 평가한다.
• 라벨 품질을 보장하기 위하여 자원봉사자 주석과 교차 뷰 일관성 확인을 포함한 크로스-밸리데이션 라벨링 워크플로우를 채택한다.

실험 결과

연구 질문

• RQ1 PKU-MMD가 여러 모달리티와 시점에 걸친 강건한 연속 행동 탐지를 지원할 수 있는가?
• RQ2 다양한 모달리티 조합(RGB, depth, IR, skeleton)이 행동 탐지 및 위치 추정 성능에 어떤 영향을 미치는가?
• RQ3 장시간의 미세단위 비디오에서 다양한 시간 탐지 아키텍처(BLSTM, JCRRNN, STA-LSTM)의 효과는 무엇인가?
• RQ4 제안된 2D-AP 평가 프로토콜이 중첩도와 신뢰도 변화에 따라 정밀도-재현율을 어떻게 포착하는가?

주요 결과

• PKU-MMD는 1076개의 긴 동영상, 51개의 행동 클래스, 20,000건 이상의 행동 인스턴스, 3개의 뷰와 66명의 피실험자에 걸친 540만 프레임을 포함한다.
• 다중 모달 데이터(RGB, depth, infrared, 및 skeleton)는 단일 모달리티보다 융합 시 탐지 성능이 향상된다.
• 공동 분류-회귀 RNN 및 BLSTM 기반 접근법은 교차 뷰 및 교차 피실험자 설정에서 SVM 기준선보다 탐지 지표에서 우수하다.
• 제안된 2D-AP 프로토콜은 ground truth와의 중첩도 및 탐지 신뢰도를 모두 고려하는 통합 평가를 제공한다.
• 베이스라인 실험은 대규모 3D 데이터에서의 행동 탐지가 여전히 도전적이며 방법론적 발전의 여지가 있음을 시사한다.