[論文レビュー] Semi-Supervised Convolutional Neural Networks for Human Activity Recognition

Ming Zeng, Tong Yu+4 more|arXiv (Cornell University)|Jan 22, 2018

Context-Aware Activity Recognition Systems被引用数 8

ひとこと要約

本稿では、生のセンサデータから特徴を共同で学び、未ラベルデータを活用して人間行動認識（HAR）を向上させる2つの半教師付き畳み込みニューラルネットワーク（CNN）アーキテクチャ—CNNエンコーダデコーダおよびCNNラダー—を提案する。低レベルの特徴学習に未ラベルデータを組み込むことで、3つの実世界のHARデータセットにおいて、教師ありおよび従来の半教師付き手法に比べて平均F1スコア（Fm）が最大18%向上する。

ABSTRACT

Labeled data used for training activity recognition classifiers are usually limited in terms of size and diversity. Thus, the learned model may not generalize well when used in real-world use cases. Semi-supervised learning augments labeled examples with unlabeled examples, often resulting in improved performance. However, the semi-supervised methods studied in the activity recognition literatures assume that feature engineering is already done. In this paper, we lift this assumption and present two semi-supervised methods based on convolutional neural networks (CNNs) to learn discriminative hidden features. Our semi-supervised CNNs learn from both labeled and unlabeled data while also performing feature learning on raw sensor data. In experiments on three real world datasets, we show that our CNNs outperform supervised methods and traditional semi-supervised learning methods by up to 18% in mean F1-score (Fm).

研究の動機と目的

• ラベル付きデータが乏しく多様性に欠けることによる教師ありHARモデルの一般化性能の低さに対処する。
• 手作業で作成した特徴に依存し、未ラベルデータを用いて低レベル表現を最適化できない従来の半教師付きHAR手法の限界を克服する。
• ラベル付きおよび未ラベル付きセンサデータを用いて、特徴学習とモデル学習を同時に実行する深層学習アーキテクチャを開発する。
• 未ラベルデータを用いて低レベル特徴を改善することで、HARにおける高レベル表現の質と認識性能が顕著に向上することを実証する。

提案手法

• 入力センサ系列を自己符号化器ブランチを用いて再構成するCNNエンコーダデコーダアーキテクチャを提案し、ラベル付きおよび未ラベル付きデータの共同学習を可能にする。
• エンコーダとデコーダブランチの間をスキップ接続で結ぶCNNラダーを導入し、各層の潜在表現が対応するデコーダ出力と一致するように正則化する。
• 各ネットワーク深さにおける未ラベルデータの特徴学習への影響を制御するため、学習可能な係数λₗを用いた重み付き再構成損失を用いる。
• 分類（ラベル付きデータ）と再構成・特徴正則化（未ラベル付きデータ）の両方を用いて、エンドツーエンドでモデルを訓練する。
• 学習済み特徴の可視化のための主成分分析（PCA）を用い、未ラベル付きデータあり・なしのモデル間での表現を比較する。
• 層ごとにλₗの値を系統的に変化させ、未ラベルデータを用いた低レベル特徴と高レベル特徴の最適化が性能に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 生のセンサデータを用いて特徴と分類を共同で学ぶ半教師付きCNNは、教師ありおよび従来の半教師付きHAR手法を上回るか？
• RQ2 低レベル特徴学習に未ラベルデータを組み込むと、HARにおける表現の判別性にどのような影響を与えるか？
• RQ3 未ラベルデータを用いた場合、特に低レベル特徴が性能向上に果たす相対的寄与は何か？
• RQ4 ラベル付きデータが限られている状況で、CNNラダーは標準CNNよりもより頑健で汎用性の高い高レベル特徴を学習できるか？
• RQ5 なぜCNNラダーは、標準CNNおよび従来の半教師付き手法に比べてHARでより高いF₁スコアを達成するのか？

主な発見

• 提案された半教師付きCNNは、3つの実世界のHARデータセットにおいて、ベースラインの教師ありおよび従来の半教師付き手法に比べ、最大18%高い平均F1スコア（Fₘ）を達成する。
• 未ラベルデータを用いて低レベル特徴を改善することで、特徴空間における異なるユーザーからの未ラベルデータがラベル付き例の周囲により緊密にクラスタリングされるなど、一般化性能が顕著に向上することが示された。
• ラベル付きデータが乏しく、ユーザー行動にばらつきがある状況でも、CNNラダーは標準CNNよりもより判別性の高い高レベル特徴を学習する。
• 可視化結果から、未ラベルデータが、行動に差があるにもかかわらず、同じアクティビティ（例：ジョギング）の特徴を異なるユーザー間で一致させることを支援し、ユーザー間のばらつきを低減することがわかった。
• 性能向上の最大の貢献は、未ラベルデータを用いて低レベル特徴（例：初期層）を最適化した場合に得られ、これは従来の半教師付き手法が特徴を学習前から固定するため、実現不可能である。
• 系統的なアブレーションにより、初期層（低レベル特徴）に対してλₗ = 1に設定した場合が最も高いFₘを達成し、半教師付きHARにおける低レベル特徴学習の重要性を確認した。