[論文レビュー] CHARM: A Hierarchical Deep Learning Model for Classification of Complex Human Activities Using Motion Sensors

Eric Rosen, Doruk Senkal|arXiv (Cornell University)|Jul 16, 2022

Context-Aware Activity Recognition Systems被引用数 5

ひとこと要約

CHARMは、ウェアラブルインertial測定装置（IMU）データを用いて、食事準備や家事などの複雑で高水準の人的行動を分類する2段階の階層的ディープラーニングモデルである。高水準ラベルのみを用いたエンドツーエンド学習により、高水準行動認識分野で最先端の性能を達成しており、明示的な低水準ラベルを一切用いずに、意味的に意味のある低水準の運動表現（例：歩行、把持、切断）を自動で学習している。

ABSTRACT

In this paper, we report a hierarchical deep learning model for classification of complex human activities using motion sensors. In contrast to traditional Human Activity Recognition (HAR) models used for event-based activity recognition, such as step counting, fall detection, and gesture identification, this new deep learning model, which we refer to as CHARM (Complex Human Activity Recognition Model), is aimed for recognition of high-level human activities that are composed of multiple different low-level activities in a non-deterministic sequence, such as meal preparation, house chores, and daily routines. CHARM not only quantitatively outperforms state-of-the-art supervised learning approaches for high-level activity recognition in terms of average accuracy and F1 scores, but also automatically learns to recognize low-level activities, such as manipulation gestures and locomotion modes, without any explicit labels for such activities. This opens new avenues for Human-Machine Interaction (HMI) modalities using wearable sensors, where the user can choose to associate an automated task with a high-level activity, such as controlling home automation (e.g., robotic vacuum cleaners, lights, and thermostats) or presenting contextually relevant information at the right time (e.g., reminders, status updates, and weather/news reports). In addition, the ability to learn low-level user activities when trained using only high-level activity labels may pave the way to semi-supervised learning of HAR tasks that are inherently difficult to label.

研究の動機と目的

• ウェアラブルセンサーを用いて、変動する低水準行動の組み合わせから成る複雑な高水準行動を認識する課題に対処すること。
• 現実世界における低水準行動のラベリングにかかる高コストと困難さを克服し、高水準行動ラベルからの自己教師付き学習により運動パターンを学習可能にする。
• 高水準行動検出に基づくコンテキスト対応自動化やインテリジェントなリマインダーなど、新たな人間-マシンインタラクション（HMI）アプリケーションを可能にすること。
• 高水準ラベルのみを用いたエンドツーエンド学習が、意味的で分離可能な低水準運動行動表現を生み出せるかどうかを検証すること。
• 深層ニューラルネットワークが、そのパターンについての明示的教師信号なしに、意味的に関連する運動パターン（例：操作ジェスチャー、移動モード）を区別できるかどうかを示すこと。

提案手法

• 短い時間窓のIMUデータを処理する低水準ニューラルエンコーダーを備えた2段階のニューラルネットワークアーキテクチャを提案する。
• 低水準エンコーダーの出力を時間軸に沿ってストライド付き時間サンプリングで集約することで、長時間スパンの行動シーケンスを分類する高水準エンコーダーを構築する。
• 高水準行動分類の精度を最適化するために、高水準ラベル（例：「朝のルーティン」「昼食」）のみを用いて、モデル全体をエンドツーエンドで学習する。
• 階層的構造を活用し、低水準エンコーダーが局所的な運動パターン（数秒）に集中できる一方で、高水準エンコーダーがグローバルな時間的依存性（数分）を捉えるようにする。
• 解釈可能性およびクラスタリング解析のため、学習済みの低水準特徴表現の可視化・分析に主成分分析（PCA）を適用する。
• 埋め込み空間における定性的なクラスタリング解析を用い、意味的に類似した低水準行動（例：「切断」「塗布」）が、いかに教師なしでグループ化されているかを評価する。

実験結果

リサーチクエスチョン

• RQ1 明示的な低水準行動ラベルなしに、深層学習モデルが高水準行動認識のための意味的で意味のある低水準運動表現（例：歩行、把持、切断）を学習できるか？
• RQ2 CHARMの階層的アーキテクチャは、従来の教師ありHARモデルと比較して、長時間にわたる複雑な人的行動の分類において、より優れた性能を発揮するか？
• RQ3 CHARMの埋め込み空間における学習済み低水準表現が、クラスタリング行動によって示されるように、運動パターン間の意味的類似性をどの程度反映しているか？
• RQ4 高水準ラベルのみで学習した場合、モデルの性能が異なる高水準行動クラス間でどのように変動するか？
• RQ5 埋め込み空間で類似した低水準ジェスチャー（例：「切断」「塗布」）がクラスタリングされるモデルの能力を、イベントベースのHARタスクにおける転移学習の応用に活かせるか？

主な発見

• CHARMは、OPPORTUNITYデータセットにおいて、平均精度およびF1スコアの両面で、既存の教師あり手法を上回る最先端の性能を達成した。
• 低水準ニューラルエンコーダーは、異なる操作ジェスチャー（例：「切断」「塗布」「すくいとる」）に対して、教師なしで明確なクラスタを形成しており、意味的グルーピングが行われていることが示された。
• 「立つ」「歩行」「座る」「横になる」といった移動行動も、センサーの制限および行動シーケンス内の文脈的類似性のため、やや重複があるものの、識別可能なクラスタを形成している。
• 埋め込み空間におけるクラスタ間の距離は、同じ高水準行動に共起する運動パターンの頻度と相関しており、例として「切断」と「塗布」は両方とも「昼食」や「コーヒーの時間」といったシーケンスに共通するため、近接している。
• 低水準ラベルをトレーニング時に一切提供しなくても、モデルは低水準運動パターンを高水準分類に有用な信号として学習している。
• PCAによる定性的な解析により、学習済み表現が意味的に意味的で、人間の運動行動における機能的類似性を反映しており、HARにおける自己教師付き学習の可能性を裏付けた。