[論文レビュー] Context-driven Active and Incremental Activity Recognition

Gabriele Civitarese, Riccardo Presotto+1 more|arXiv (Cornell University)|Jun 7, 2019

Context-Aware Activity Recognition Systems参考文献 37被引用数 9

ひとこと要約

本稿では、文脈を意識した半教師付きのアクティブでインクリメンタルな行動認識システムであるCAVIARを提案する。このシステムは、場所、時間、輸送手段などの文脈データに対するオントロジー的推論と、インクリメンタルな分類器を組み合わせることで、認識精度を向上させるとともに、ユーザーへのクエリを削減する。統計的予測を意味的文脈で精緻化し、信頼性の高い予測を自己学習に用いる一方で、不確実性が高い場合にはのみユーザーに真のラベルを照会することで、CAVIARは、文脈を単なる特徴として扱う手法と比較して、より高い認識率と顕著に少ないクエリ数を達成する。

ABSTRACT

Human activity recognition based on mobile device sensor data has been an active research area in mobile and pervasive computing for several years. While the majority of the proposed techniques are based on supervised learning, semi-supervised approaches are being considered to significantly reduce the size of the training set required to initialize the recognition model. These approaches usually apply self-training or active learning to incrementally refine the model, but their effectiveness seems to be limited to a restricted set of physical activities. We claim that the context which surrounds the user (e.g., semantic location, proximity to transportation routes, time of the day) combined with common knowledge about the relationship between this context and human activities could be effective in significantly increasing the set of recognized activities including those that are difficult to discriminate only considering inertial sensors, and the ones that are highly context-dependent. In this paper, we propose CAVIAR, a novel hybrid semi-supervised and knowledge-based system for real-time activity recognition. Our method applies semantic reasoning to context data to refine the prediction of a semi-supervised classifier. The context-refined predictions are used as new labeled samples to update the classifier combining self-training and active learning techniques. Results on a real dataset obtained from 26 subjects show the effectiveness of the context-aware approach both on the recognition rates and on the number of queries to the subjects generated by the active learning module. In order to evaluate the impact of context reasoning, we also compare CAVIAR with a purely statistical version, considering features computed on context data as part of the machine learning process.

研究の動機と目的

• 純粋な統計的手法による行動認識の限界、特に文脈依存性や運動パターンが似通った行動（例：歩行 vs. 階段の上り下り、立ち止まり vs. エレベーター乗車）を区別できない点を是正すること。
• アクティブラーニングと文脈を意識した精緻化を組み合わせた半教師付きラーニングを活用することで、手動ラベリングの負担を軽減すること。
• 動的かつ不完全な文脈データを伴う現実世界のシナリオにおいて、行動認識システムのスケーラビリティと耐障害性を向上させること。
• 機械学習モデルのパイプラインにおいて、文脈データを直接特徴として使用するのではなく、知識ベースの文脈推論を用いることで性能が向上するかどうかを評価すること。
• 知識ベースの推論が、基本的な運動パターンをはるかに超える複雑で文脈依存性の高い行動の認識を可能にすることを実証すること。

提案手法

• インクリメンタルな分類器が慣性センサデータを処理し、可能な行動の上での確率分布を生成する。
• 知識ベースの推論エンジンが、文脈（例：意味的場所、1日中の時間帯、交通機関への近接性）のオントロジーを用いて、意味的に不適切な統計的予測をフィルタリングする。
• センサデータと文脈推論の両方に基づいた精緻化された予測が、システムの出力として採用される。
• システムが精緻化された予測に高い信頼性を持つ場合、それを自己学習による分類器の更新用の新たなラベル付きサンプルとして使用する。
• 信頼性が低い場合、システムはユーザーに真のラベルを照会し、その後分類器のさらなる学習に使用する。
• 新しい文脈ソースは、オントロジーの拡張によって動的に統合され、再トレーニングを回避し、モデルの適応性を維持する。

実験結果

リサーチクエスチョン

• RQ1 文脈を意識した推論が、単に慣性センサからのみ得られる情報に依存する手法では達成できない、複雑で文脈依存性の高い行動の認識精度を顕著に向上させることができるか？
• RQ2 機械学習パイプラインにおいて、文脈データを意味的推論を通じて使用する方法が、それを直接特徴として使用する方法を上回る性能を示すか？
• RQ3 知識ベースの推論統合が、アクティブラーニングにおけるユーザークエリの数をどの程度削減できるか？
• RQ4 認識対象の行動の複雑さと多様性が増加するに従い、システムはどの程度スケーリング可能か？
• RQ5 再トレーニングなしに新しい文脈ソースに適応しつつ、ユーザーとのインタラクションを最小限に抑え、高い性能を維持できるか？

主な発見

• CAVIARは、文脈を直接特徴として扱うベースライン手法と比較して、特に『エレベーターに乗る』や『車で移動する』といった複雑で文脈依存性の高い行動において、顕著に高い認識率を達成している。
• アクティブラーニングモジュールが引き起こすユーザークエリの数は、CAVIARにおいて文脈を特徴として扱うアプローチと比較して著しく削減されており、より正確な文脈ベースのフィルタリングによるものである。
• 異なる行動セットにおいても、CAVIARは高い性能を維持しており、行動の複雑さの増加に対してもスケーラビリティと耐障害性を示している。
• 文脈を意識した推論により、慣性センサからの情報だけでは区別が難しい行動、例えば『歩行』と『階段の上り下り』の認識が可能になった。
• オントロジー的推論の使用により、完全かつ一貫性のある文脈データに依存する必要がなくなり、欠損値があってもシステムが破綻しない。これは、特徴ベースのアプローチとは対照的である。
• モデルの再トレーニングなしに新しい文脈ソースを追加可能であるため、特徴ベースの文脈統合に比べて、よりスケーラブルで保守性に優れた手法である。