[논문 리뷰] Human Activity Recognition Using Tools of Convolutional Neural Networks: A State of the Art Review, Data Sets, Challenges and Future Prospects

Md. Milon Islam, Sheikh Nooruddin외 2명|arXiv (Cornell University)|2022. 02. 02.

Context-Aware Activity Recognition Systems인용 수 10

한 줄 요약

이 논문은 스마트폰, 레이더, 시각 및 다중센서 기반의 컨volution 신경망(CNN) 기반 인간 활동 인식(HAR) 시스템에 대한 종합적인 최신 기술 검토를 제공한다. 다양한 성능, 하이퍼파rameter 및 데이터셋을 기반으로 CNN 아키텍처를 평가하고, 핵심 과제를 규명하며, HAR 응용 분야의 향후 연구 방향을 제시한다.

ABSTRACT

Human Activity Recognition (HAR) plays a significant role in the everyday life of people because of its ability to learn extensive high-level information about human activity from wearable or stationary devices. A substantial amount of research has been conducted on HAR and numerous approaches based on deep learning and machine learning have been exploited by the research community to classify human activities. The main goal of this review is to summarize recent works based on a wide range of deep neural networks architecture, namely convolutional neural networks (CNNs) for human activity recognition. The reviewed systems are clustered into four categories depending on the use of input devices like multimodal sensing devices, smartphones, radar, and vision devices. This review describes the performances, strengths, weaknesses, and the used hyperparameters of CNN architectures for each reviewed system with an overview of available public data sources. In addition, a discussion with the current challenges to CNN-based HAR systems is presented. Finally, this review is concluded with some potential future directions that would be of great assistance for the researchers who would like to contribute to this field.

연구 동기 및 목표

• 다양한 입력 모odal리티를 기반으로 한 최근의 CNN 기반 인간 활동 인식(HAR) 접근법에 대한 체계적인 검토를 제공하기 위해.
• HAR에 사용된 다양한 CNN 아키텍처의 성능, 강점, 약점 및 하이퍼파rameter를 분석하고 비교하기 위해.
• 현재 연구에서 사용되는 공개된 HAR 데이터셋을 체계적으로 정리하고 평가하기 위해.
• 일반화, 데이터 불균형, 실시간 배포와 같은 지속적인 과제를 규명하고 논의하기 위해.
• 딥러닝을 활용한 강력하고 효율적이며 확장 가능한 HAR 솔루션을 향상시키기 위한 향후 연구 방향을 제시하기 위해.

제안 방법

• 다중센서 장치, 스마트폰, 레이더 및 시각 기반 시스템으로 HAR 시스템을 네 가지 입력 모달리티로 분류하기.
• 각 범주에서 사용된 CNN 아키텍처에 대한 체계적 분석을 수행하여, 네트워크 깊이, 필터 크기, 활성화 함수 및 최적화 기법을 포함한다.
• 기준 데이터셋에서 정확도, F1 점수 및 정밀도/재현율과 같은 표준 메트릭을 사용해 모델 성능을 평가하기.
• 14개의 공개된 HAR 데이터셋을 정리하고 기술하며, 센서 유형, 샘플링 주기 및 활동 클래스를 포함한다.
• 검토된 논문들 간의 공통된 하이퍼파rameter 설정(예: 학습률, 배치 크기)을 식별하기.
• 도메인 이동, 센서 변동성 및 모델 해석 가능성과 같은 실세계 배포 과제를 통합 분석하기.

실험 결과

연구 질문

• RQ1 다양한 HAR 입력 모달리티에서 가장 높은 정확도와 강건성을 보이는 CNN 아키텍처는 무엇인가?
• RQ2 학습률, 배치 크기 등 하이퍼파ram터 설정이 HAR 작업에서 CNN의 성능에 어떤 영향을 미치는가?
• RQ3 가장 널리 사용되고 공개된 HAR 데이터셋은 무엇이며, 그 특성은 모델 성능에 어떤 영향을 미치는가?
• RQ4 실세계 환경에서 CNN 기반 HAR 시스템의 배포를 저해하는 주요 기술적 및 실용적 과제는 무엇인가?
• RQ5 CNN 기반 HAR 모델의 일반화, 효율성 및 해석 가능성 향상을 위해 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• UCL 및 UniMIB와 같은 기준 데이터셋에서 CNN 기반 HAR 시스템은 95% 이상의 정확도를 달성하며, ResNet 및 DenseNet과 같은 깊이 있는 아키텍처가 간단한 모델보다 뛰어난 성능을 보인다.
• 스마트폰 기반 HAR 시스템은 가속도계 및 자이로스코프에서 유래한 풍부하고 고해상도 센서 데이터 덕분에 일관되게 높은 성능(95–98% 정확도)을 기록한다.
• 레이더 기반 HAR 시스템은 개인정보 보호가 중요한 환경에서 유망한 성과를 보이지만, 복잡한 운동 조건에서 정확도 문제가 존재한다.
• 시각 기반 HAR 시스템은 높은 정확도(최대 97%)를 달성하지만, 상당한 계산 자원이 필요하고 조도 및 가림 현상에 민감하다.
• 관성 센서와 시각 데이터를 융합하는 다중모달 융합 접근법은 특히 도전적인 상황에서 강건성과 정확도를 향상시킨다.
• 표준 데이터셋에서 높은 성능를 기록하고도, 모든 모달리티에서 예측 불가능한 주체나 환경로의 일반화 문제는 여전히 주요 제한 요소로 남아 있다.