[논문 리뷰] Adaptive Feature Processing for Robust Human Activity Recognition on a Novel Multi-Modal Dataset

Mirco Moencks, De Silva외 2명|arXiv (Cornell University)|2019. 01. 09.

Human Pose and Action Recognition참고 문헌 68인용 수 16

한 줄 요약

이 논문은 16명의 참가자로부터 RGB, 깊이, 관성 및 자석 센서를 사용하여 9가지 실내 활동을 촬영한 새로운 공개 다중 모odal 데이터셋을 소개한다. 또한 깊이-RGB 데이터를 사용하여 모든 동적 및 정적 활동에서 최대 96.8%의 정확도를 달성하는 강력한 인간 활동 인식을 가능하게 하는 적응형 특징 처리 파이프라인을 제안한다.

ABSTRACT

Human Activity Recognition (HAR) is a key building block of many emerging applications such as intelligent mobility, sports analytics, ambient-assisted living and human-robot interaction. With robust HAR, systems will become more human-aware, leading towards much safer and empathetic autonomous systems. While human pose detection has made significant progress with the dawn of deep convolutional neural networks (CNNs), the state-of-the-art research has almost exclusively focused on a single sensing modality, especially video. However, in safety critical applications it is imperative to utilize multiple sensor modalities for robust operation. To exploit the benefits of state-of-the-art machine learning techniques for HAR, it is extremely important to have multimodal datasets. In this paper, we present a novel, multi-modal sensor dataset that encompasses nine indoor activities, performed by 16 participants, and captured by four types of sensors that are commonly used in indoor applications and autonomous vehicles. This multimodal dataset is the first of its kind to be made openly available and can be exploited for many applications that require HAR, including sports analytics, healthcare assistance and indoor intelligent mobility. We propose a novel data preprocessing algorithm to enable adaptive feature extraction from the dataset to be utilized by different machine learning algorithms. Through rigorous experimental evaluations, this paper reviews the performance of machine learning approaches to posture recognition, and analyses the robustness of the algorithms. When performing HAR with the RGB-Depth data from our new dataset, machine learning algorithms such as a deep neural network reached a mean accuracy of up to 96.8% for classification across all stationary and dynamic activities

연구 동기 및 목표

• 안전이 중요한 응용 분야에서 강력한 인간 활동 인식(HAR)을 위한 공개 가능하고 다중 모달 데이터셋의 부족을 해결하기 위해.
• 다양한 센서 모달리티에서 특징 추출을 적응적으로 가능하게 하는 데이터 전처리 파이프라인을 개발하기 위해.
• 다양한 센서 유형 간에 자세 및 활동 인식을 위한 기계 학습 모델의 평가 및 비교를 위해.
• 다양한 감지 모달리티 간의 상호 보완적 정보를 활용하여 시스템의 강건성을 향상시키기 위해.
• 미래의 HAR 연구, 특히 헬스케어, 이동성 및 로봇 분야에서의 기준 데이터셋과 방법을 제공하기 위해.

제안 방법

• 저자들은 RGB 카메라, 깊이 센서, 관성 측정 장치(IMU), 자석계를 포함한 네 가지 센서 유형을 사용하여 다중 모달 데이터셋을 수집하였다.
• 신호 특성과 시간적 동역학에 기반하여 각 모달리티에서 특징을 추출하고 정규화하기 위한 적응형 특징 처리 알고리즘을 설계하였다.
• 입력 표현을 표준화함으로써 다양한 기계 학습 모델, 특히 딥 뉴럴 네트워크(DNN)와의 탄력적 통합을 지원하는 방법을 개발하였다.
• 특징 추출에는 시간 도메인 통계, 주파수 도메인 변환(Fast Fourier Transform 등), 깊이 및 RGB 스트림에 대한 공간-시간 인코딩이 포함된다.
• 모델 일반화를 향상시키기 위해 센서 유형과 활동 유형에 따라 전처리를 동적으로 조정하는 파이프라인을 설계하였다.
• 최종 분류를 위해 모달리티 특화된 특징을 융합하기 위해 다중 스트림 DNN 아키텍처를 사용하였다.

실험 결과

연구 질문

• RQ1 제안된 적응형 전처리를 사용할 때, 다양한 센서 모달리티 간에 HAR 모델의 성능는 어떻게 달라지나?
• RQ2 단일 모달리티 접근 방식에 비해 다중 모달리티 융합이 얼마나 높은 정확도와 강건성을 향상시키는가?
• RQ3 제안된 적응형 특징 처리 파이프라인은 다양한 인간 활동 간의 모델 일반화를 얼마나 효과적으로 향상시키는가?
• RQ4 최신 기술 수준의 모델이 이 새로운 다중 모달 데이터셋에서 달성할 수 있는 성능의 상한선은 무엇인가?
• RQ5 참가자 및 활동의 다양성이 모델의 이식 가능성과 강건성에 어떻게 영향을 미치는가?

주요 결과

• 제안된 적응형 특징 처리 파이프라인은 기준 전처리 대비 모든 센서 모달리티에서 모델 성능을 크게 향상시켰다.
• 딥 뉴럴 네트워크는 새로운 데이터셋의 RGB-깊이 데이터를 사용하여 평균 분류 정확도 96.8%를 달성했다.
• 다중 모달리티 융합은 단일 모달리티 모델을 항상 능가했으며, RGB-깊이 조합에서 가장 높은 정확도를 기록했다.
• 이 데이터셋은 다양한 참가자와 활동 유형 간에 일관된 성능를 보이며 뛰어난 일반화 잠재력을 보였다.
• 관성 및 자석 센서의 포함은 저조도 또는 가림 상황에서 강건성을 추가로 향상시켰다.
• 이 데이터셋은 네 가지 센서 유형을 모두 포함한 최초의 공개 가능한 다중 모달 HAR 데이터셋으로, 인간 중심의 AI 응용 분야의 연구를 넓히는 데 기여한다.