[논문 리뷰] Deep Learning for Sensor-based Human Activity Recognition: Overview, Challenges and Opportunities

Kaixuan Chen, Dalin Zhang외 4명|arXiv (Cornell University)|2020. 01. 21.

Context-Aware Activity Recognition Systems참고 문헌 195인용 수 319

한 줄 요약

이 설문은 센서 기반 인간 활동 인식을 위한 최첨단 딥 러닝 방법들을 리뷰하고 도전과제를 카테고리화하며 딥 기술들을 공개 이슈, 데이터셋, 및 향후 방향에 매핑합니다.

ABSTRACT

The vast proliferation of sensor devices and Internet of Things enables the applications of sensor-based activity recognition. However, there exist substantial challenges that could influence the performance of the recognition system in practical scenarios. Recently, as deep learning has demonstrated its effectiveness in many areas, plenty of deep methods have been investigated to address the challenges in activity recognition. In this study, we present a survey of the state-of-the-art deep learning methods for sensor-based human activity recognition. We first introduce the multi-modality of the sensory data and provide information for public datasets that can be used for evaluation in different challenge tasks. We then propose a new taxonomy to structure the deep methods by challenges. Challenges and challenge-related deep methods are summarized and analyzed to form an overview of the current research progress. At the end of this work, we discuss the open issues and provide some insights for future directions.

연구 동기 및 목표

• 센서 기반 활동 인식과 그 응용 분야(스마트 홈, 헬스케어, 제조)를 소개한다.
• 센서 데이터의 고유한 도전 과제(특징 추출, 데이터 희소성, 분포 변화, 세분화, 다중 사용자 시나리오, 프라이버시 및 실현 가능성)
• 이러한 도전 과제에 정렬된 딥 러닝 접근법의 분류 체계를 제시하고 이를 어떻게 다루는지 분석한다.
• 도전 과제별 방법 평가를 위한 공공 데이터셋과 모달리티를 제시한다.
• 향후 연구 방향에 대한 열린 이슈와 실행 가능한 통찰을 제시한다.

제안 방법

• 센서 기반 활동 인식에서 다루는 도전 과제별로 정리된 딥 러닝 방법의 분류 체계를 제안한다.
• RNN(LSTM/GRU)을 이용한 시간적 특징 추출, CNN(1D, 다중 스케일, 확장(dilated) 및 모달리티별 변형 포함), 그리고 하이브리드 CNN-RNN 아키텍처를 논의한다.
• 다중 모달 특성 추출 및 융합 전략(조기 융합 vs. 센서 융합), 특징 기반 및 분류기 앙상블 접근 방식을 포함하여 탐구한다.
• 센서 모달리티(착용 가능, 환경 기반, 물체 기반, 기타 모달리티) 및 그 데이터셋을 요약하되, 데이터 유형 및 클래스 불균형과 분포 불일치와 같은 도전에 주목한다.
• 공개 데이터셋과 다양한 도전과제(다중 모달, 합성 활동, 다중 점유자 시나리오)를 평가하는 데의 적합성 검토.
• 센서 기반 활동 인식을 위한 딥 러닝의 열린 이슈와 잠재적 향후 방향을 강조한다.

실험 결과

연구 질문

• RQ1 센서 기반 인간 활동 인식에 고유한 주요 도전 과제는 무엇이며, 이를 해결하기 위해 딥 러닝 방법을 어떻게 맞춤화할 수 있는가?
• RQ2 다양한 센서 모달리티와 데이터셋에서 서로 다른 딥 러닝 아키텍처와 융합 전략은 어떤 성능 차이를 보이는가?
• RQ3 챌린지별 방법 평가를 위한 공공 데이터셋은 무엇이며 그 특성은 무엇인가?
• RQ4 더 견고하고 확장 가능하며 프라이버시를 보장하는 HAR 시스템 개발을 이끄는 향후 연구 방향과 열린 이슈는 무엇인가?

주요 결과

• 딥 러닝은 다중 모달 센서 데이터에서 엔드-투-엔드 학습을 가능하게 하며, 계층적 표현 학습으로 특징 추출의 도전을 해결한다.
• 시간적 특징 추출은 LSTM/GRU 및 확장(dilated) 및 다중 스케일을 포함한 CNN 변형에 의해 효과적으로 처리되며, 시간 규모 다양성에 주의를 기울인다.
• 다중 모달 융합 전략(초기 융합, 센서 융합, 분류기 앙상블)은 모달 간의 상관관계 포착에서 서로 다른 절충점을 가진다.
• 착용 가능, 환경, 물체 및 기타 모달리티를 아우르는 폭넓은 센서 모달리티와 데이터셋은 간단한 활동부터 합성 및 다중 점유자 시나리오에 이르기까지 평가를 지원한다.
• 본 설문은 도전과제를 방법과 연결하는 분류 체계를 제공하고, 이용 가능한 공개 데이터셋을 강조하며, 열린 이슈와 향후 방향을 논의한다.