[논문 리뷰] An Interpretable Machine Vision Approach to Human Activity Recognition using Photoplethysmograph Sensor Data

Eoin Brophy, José Juan Dominguez Veiga외 3명|arXiv (Cornell University)|2018. 12. 03.

Non-Invasive Vital Sign Monitoring인용 수 7

한 줄 요약

이 논문은 시간 시리즈 신호를 스케일링된 이미지로 변환하여 심장 박동 수축성 신호(PPG) 데이터만을 사용하는 새로운 해석 가능한 인간 활동 인식(HAR) 시스템을 제안한다. 컨volutional 신경망(CNN) 분류를 위해 사용된다. Inception-v3를 사용한 전이 학습과 SVM을 활용한 2048차원 특징에서 평균 정확도 92.3%를 달성하였으며, 관성 센서를 함께 사용한 시스템의 성능을 뛰어넘었고, 클래스 활성 맵(CAMs)과 t-SNE 시각화를 통해 해석 가능한 인공지능을 실현하였다.

ABSTRACT

The current gold standard for human activity recognition (HAR) is based on the use of cameras. However, the poor scalability of camera systems renders them impractical in pursuit of the goal of wider adoption of HAR in mobile computing contexts. Consequently, researchers instead rely on wearable sensors and in particular inertial sensors. A particularly prevalent wearable is the smart watch which due to its integrated inertial and optical sensing capabilities holds great potential for realising better HAR in a non-obtrusive way. This paper seeks to simplify the wearable approach to HAR through determining if the wrist-mounted optical sensor alone typically found in a smartwatch or similar device can be used as a useful source of data for activity recognition. The approach has the potential to eliminate the need for the inertial sensing element which would in turn reduce the cost of and complexity of smartwatches and fitness trackers. This could potentially commoditise the hardware requirements for HAR while retaining the functionality of both heart rate monitoring and activity capture all from a single optical sensor. Our approach relies on the adoption of machine vision for activity recognition based on suitably scaled plots of the optical signals. We take this approach so as to produce classifications that are easily explainable and interpretable by non-technical users. More specifically, images of photoplethysmography signal time series are used to retrain the penultimate layer of a convolutional neural network which has initially been trained on the ImageNet database. We then use the 2048 dimensional features from the penultimate layer as input to a support vector machine. Results from the experiment yielded an average classification accuracy of 92.3%. This result outperforms that of an optical and inertial sensor combined (78%) and illustrates the capability of HAR systems using...

연구 동기 및 목표

• 손목에 부착된 PPG 센서만으로도 관성 센서가 없이도 정확한 인간 활동 인식이 가능한지 조사하기 위해.
• 복잡한 관성 센서 하드웨어가 필요 없도록 웨어러블 HAR 시스템을 단순화하기 위해.
• 비기술자 사용자가 시각적 설명 기법을 통해 모델의 예측을 이해할 수 있도록 해석 가능한 기계 학습 방법을 개발하기 위해.
• PPG 신호에 운동 유도 잡음이 충분히 포함되어 있어 다양한 신체 활동을 구분할 수 있음을 입증하기 위해.
• PPG 유도 이미지 표현에 대해 전이 학습과 하이브리드 딥 러닝-SVM 분류의 효과성을 검증하기 위해.

제안 방법

• 딥 러닝을 위한 시각적 표현을 가능하게 하기 위해 원시 PPG 시간 시리즈 신호를 스케일링된 2차원 이미지로 변환하기 위해.
• 사전 훈련된 Inception-v3 모델의 최전단 층을 재학습하여 전이 학습을 적용하기 위해.
• 재학습된 Inception-v3 모델의 글로벌 평균 풀링 층에서 2048차원 특징 벡터를 추출하기 위해.
• 최종 활동 예측을 위해 추출된 특징에 대해 서포트 벡터 머신(SVM) 분류기 사용하기 위해.
• 분류 결정에 가장 기여하는 PPG 이미지 영역을 시각화하기 위해 클래스 활성 맵(CAMs) 생성하기 위해.
• 2048차원 특징 벡터가 다양한 활동 클래스 간에 어떻게 군집되어 있는지 시각화하기 위해 t-SNE 차원 감소 적용하기 위해.

실험 결과

연구 질문

• RQ1 손목에 부착된 PPG 센서만으로도 다양한 인간 활동을 구분할 수 있는 충분한 정보를 제공할 수 있는가?
• RQ2 PPG 신호 플롯에 기반한 전이 학습 기반의 이미지 분류 접근 방식이 PPG와 관성 센서를 모두 사용하는 전통적 방법보다 우수한가?
• RQ3 결과로 도출된 딥 러닝 모델이 CAMs와 t-SNE와 같은 시각화 기법을 통해 해석 가능한 예측을 생성할 수 있는가?
• RQ4 활동 유형 간 신호 형태의 차이를 반영하여 활성 맵의 클래스 간 변동성이 어떻게 나타나는가?
• RQ5 이 방법을 통해 비전문가 사용자가 시각적 설명 기법을 통해 HAR 시스템의 결정을 이해하고 신뢰할 수 있는가?

주요 결과

• 제안된 방법은 고속, 저속, 걷기, 달리기 4개 활동 유형에서 평균 분류 정확도 92.3%를 달성하였다.
• 이 성능은 PPG와 관성 센서를 함께 사용한 시스템의 정확도 78%를 뛰어넘었다.
• 클래스 활성 맵(CAMs)은 진폭 및 주파수 패턴과 같은 관련 신호 성분을 명확히 국소화하여 모델의 해석 가능성성을 입증하였다.
• t-SNE 시각화 결과 각 활동 유형에 해당하는 특징 벡터가 뚜렷하게 군집되어 있으며, 학습된 특징 공간에서 효과적인 분리가 이루어졌음을 보여주었다.
• 단일 광학 센서만으로도 심박수 모니터링과 활동 인식이 가능하여 하드웨어 복잡성을 감소시켰다.
• CAMs와 t-SNE와 같은 XAI 기법의 통합은 모델 결정을 투명하고 사용자 友好的한 인터페이스로 제공한다.