[論文レビュー] An Interpretable Machine Vision Approach to Human Activity Recognition using Photoplethysmograph Sensor Data

Eoin Brophy, José Juan Dominguez Veiga+3 more|arXiv (Cornell University)|Dec 3, 2018

Non-Invasive Vital Sign Monitoring被引用数 7

ひとこと要約

本論文は、時系列信号をスケーリングされた画像に変換することで、畳み込みニューラルネットワーク（CNN）分類に適した視覚的表現を提供する、腕に装着する光容積脈波計（PPG）センサのみを用いた、新規で解釈可能な人体活動認識（HAR）システムを提案する。Inception-v3を用いた転移学習と、2048次元の特徴量に対するSVM分類を組み合わせることで、92.3％の平均正答率を達成。これは、PPGと慣性センサを併用したシステムの78％を上回る性能であり、クラス活性化マップ（CAMs）とt-SNE可視化による説明可能AIを実現している。

ABSTRACT

The current gold standard for human activity recognition (HAR) is based on the use of cameras. However, the poor scalability of camera systems renders them impractical in pursuit of the goal of wider adoption of HAR in mobile computing contexts. Consequently, researchers instead rely on wearable sensors and in particular inertial sensors. A particularly prevalent wearable is the smart watch which due to its integrated inertial and optical sensing capabilities holds great potential for realising better HAR in a non-obtrusive way. This paper seeks to simplify the wearable approach to HAR through determining if the wrist-mounted optical sensor alone typically found in a smartwatch or similar device can be used as a useful source of data for activity recognition. The approach has the potential to eliminate the need for the inertial sensing element which would in turn reduce the cost of and complexity of smartwatches and fitness trackers. This could potentially commoditise the hardware requirements for HAR while retaining the functionality of both heart rate monitoring and activity capture all from a single optical sensor. Our approach relies on the adoption of machine vision for activity recognition based on suitably scaled plots of the optical signals. We take this approach so as to produce classifications that are easily explainable and interpretable by non-technical users. More specifically, images of photoplethysmography signal time series are used to retrain the penultimate layer of a convolutional neural network which has initially been trained on the ImageNet database. We then use the 2048 dimensional features from the penultimate layer as input to a support vector machine. Results from the experiment yielded an average classification accuracy of 92.3%. This result outperforms that of an optical and inertial sensor combined (78%) and illustrates the capability of HAR systems using...

研究の動機と目的

• 腕に装着するPPGセンサのみで、慣性センサを併用せずに正確な人体活動認識が可能かどうかを調査すること。
• 複雑な慣性センシングハードウェアの必要性を排除することで、ウェアラブルHARシステムを簡素化すること。
• 視覚的説明可能技術を用いて、技術的素養のないユーザーにも解釈可能な機械学習手法を開発すること。
• PPG信号に十分な運動由来アーティファクトが含まれており、異なる身体活動を区別できるかどうかを示すこと。
• PPGから得られる画像表現に、転移学習とハイブリッド深層学習-SVM分類が有効に機能することを検証すること。

提案手法

• 原始的なPPG時系列信号をスケーリングされた2次元画像に変換し、深層学習に適した視覚的表現を提供する。
• 事前学習済みのInception-v3モデルの最終層から1つ前の層を微調整することで、PPG画像データセットに対する転移学習を実施する。
• 微調整されたInception-v3モデルのグローバル平均プーリング層から2048次元の特徴ベクトルを抽出する。
• 抽出された特徴量を用いて、サポートベクターマシン（SVM）分類器で最終的な活動予測を実行する。
• 分類決定に寄与するPPG画像の領域を可視化するため、クラス活性化マップ（CAMs）を生成する。
• 2048次元の特徴ベクトルのクラスタリングを可視化するため、t-SNE次元削減を適用する。

実験結果

リサーチクエスチョン

• RQ1 腕に装着するPPGセンサのみで、異なる人体活動を区別するのに十分な情報を提供できるか？
• RQ2 PPG信号プロットに対する転移学習ベースの画像分類アプローチは、PPGと慣性センサを併用した従来手法を上回る性能を示すか？
• RQ3 得られた深層学習モデルは、CAMs や t-SNE といった可視化技術によって、解釈可能な予測を出力できるか？
• RQ4 活性化マップにおけるクラス間の差異は、活動タイプごとの信号形態の違いをどのように反映しているか？
• RQ5 このアプローチにより、非専門家ユーザーが視覚的説明可能化を通じてHARシステムの意思決定を理解し、信頼できるようになるか？

主な発見

• 提案手法は、4つの活動クラス（高強度、低強度、歩行、走行）において平均分類正答率92.3％を達成した。
• この性能は、PPGと慣性センサを併用したシステム（正答率78％）を上回っている。
• クラス活性化マップ（CAMs）は、アモルチードや周波数パターンといった関連信号成分を明確に局在化しており、モデルの解釈可能性を示している。
• t-SNE可視化により、各活動クラスごとに特徴ベクトルが明確にクラスタリングされており、学習済み特徴空間での有効な分離が示された。
• 単一の光学センサを用いることで、心拍数測定と活動認識の両方を実現でき、ハードウェアの複雑さが低減された。
• CAMs や t-SNE といったXAI技術の統合により、モデル意思決定の透明性とユーザーフレンドリーなインターフェースが実現された。