[論文レビュー] A Semi-supervised Approach for Activity Recognition from Indoor Trajectory Data

Mashud Rana, Ashfaqur Rahman+1 more|arXiv (Cornell University)|Jan 9, 2023

Human Mobility and Location-Based Analysis被引用数 6

ひとこと要約

本稿では、製造現場におけるノイズの多い屋内軌道データから活動認識を行うための半教師付きディープラーニングフレームワークを提案する。情報理論的基準を用いて軌道をセグメント化し、制約付き階層的クラスタリングにより疑似ラベルを割り当て、ラベル付きおよび疑似ラベル付きセグメントを用いてCNNを学習させることで、最小限の人的ラベル付きデータでFスコア0.81〜0.95を達成した。

ABSTRACT

The increasingly wide usage of location aware sensors has made it possible to collect large volume of trajectory data in diverse application domains. Machine learning allows to study the activities or behaviours of moving objects (e.g., people, vehicles, robot) using such trajectory data with rich spatiotemporal information to facilitate informed strategic and operational decision making. In this study, we consider the task of classifying the activities of moving objects from their noisy indoor trajectory data in a collaborative manufacturing environment. Activity recognition can help manufacturing companies to develop appropriate management policies, and optimise safety, productivity, and efficiency. We present a semi-supervised machine learning approach that first applies an information theoretic criterion to partition a long trajectory into a set of segments such that the object exhibits homogeneous behaviour within each segment. The segments are then labelled automatically based on a constrained hierarchical clustering method. Finally, a deep learning classification model based on convolutional neural networks is trained on trajectory segments and the generated pseudo labels. The proposed approach has been evaluated on a dataset containing indoor trajectories of multiple workers collected from a tricycle assembly workshop. The proposed approach is shown to achieve high classification accuracy (F-score varies between 0.81 to 0.95 for different trajectories) using only a small proportion of labelled trajectory segments.

研究の動機と目的

• 製造現場環境における低品質でノイズの多い屋内軌道データの課題に対処すること。
• 人的ラベル付けのコストを削減するため、半教師付き学習を活用して活動認識に依存するのを減らすこと。
• 限られたラベル付きデータで実世界の協働的製造環境における分類精度を向上させること。
• 下流の分類に適した行動的に均質な単位に軌道をセグメント化する耐障害性の高いパイプラインを開発すること。

提案手法

• 行動的に均質な単位に長時間の軌道を情報理論的基準を用いてセグメント化し、変化点を検出する。
• 空間的および時間的類似性に基づいて、軌道セグメントを自動的にラベル付けるために制約付き階層的クラスタリングを適用する。
• 限られた人的ラベル付きデータから得られるクラスタリング制約を用いて、ラベルなしセグメントの疑似ラベルを生成する。
• 実際のラベル付きおよび疑似ラベル付き軌道セグメントの組み合わせを用いて、1次元畳み込みニューラルネットワーク（CNN）を訓練し、活動分類を実行する。
• 段階的なパイプラインを採用：セグメンテーション → クラスタリングに基づくラベル付け → ディープラーニング分類。
• 手動ラベル付けを最小限に抑えつつ、実世界の軌道データにおけるモデルの汎化性能を最大化するデータ駆動型アプローチを採用する。

実験結果

リサーチクエスチョン

• RQ1 情報理論的セグメンテーション手法は、ノイズの多い屋内環境において、行動的に均質な軌道セグメントを効果的に同定できるか？
• RQ2 限られた人的ラベル付き例しか与えられていない状況でも、制約付き階層的クラスタリングは意味のある疑似ラベルを軌道セグメントに適切に割り当てられるか？
• RQ3 提案された半教師付きフレームワークは、完全に教師ありまたは教師なしのベースラインと比較して、活動認識性能をどの程度向上させるか？
• RQ4 実世界の製造現場の軌道データにおいて、ラベル付きデータの割合を変化させた場合、最終的な分類Fスコアにどのような影響を与えるか？

主な発見

• 提案手法は、異なる作業者による軌道においてFスコア0.81〜0.95の範囲で高い分類性能を達成した。
• ラベル付き軌道セグメントの割合が非常に少ない状況でも、モデルの精度が高く保たれ、半教師付き学習の効率性が裏付けられた。
• 情報理論的基準に基づくセグメンテーションは、ノイズの多い屋内軌道において、明確な行動パターンを的確に分離できた。
• 制約付きクラスタリングによる疑似ラベル付けは、ランダムまたは教師なしラベル付け戦略と比較して、モデル性能を顕著に向上させた。
• CNNベースの分類器は、実際の三輪車組立作業場で観察された多様な移動パターンにうまく一般化した。