[論文レビュー] Activity2Vec: Learning ADL Embeddings from Sensor Data with a Sequence-to-Sequence Model

Alireza Ghods, Diane J. Cook|arXiv (Cornell University)|Jul 12, 2019

Context-Aware Activity Recognition Systems被引用数 8

ひとこと要約

この論文では、スマートホームおよびウェアラブルデバイスにおけるアクティビティ認識のため、生のセンサデータから普遍的で低次元の埋め込みを学習する、シーケンス・ツー・シーケンスRNNモデルであるActivity2Vecを提案する。LSTMを用いたエンコーダ・デコーダアーキテクチャを活用することで、時間的依存関係を捉え、分類およびクラスタリングタスクにおいて、手作業で作成された特徴量や生データを凌駕するコン pact で意味的意味を持つ特徴量を生成する。

ABSTRACT

Recognizing activities of daily living (ADLs) plays an essential role in analyzing human health and behavior. The widespread availability of sensors implanted in homes, smartphones, and smart watches have engendered collection of big datasets that reflect human behavior. To obtain a machine learning model based on these data,researchers have developed multiple feature extraction methods. In this study, we investigate a method for automatically extracting universal and meaningful features that are applicable across similar time series-based learning tasks such as activity recognition and fall detection. We propose creating a sequence-to-sequence (seq2seq) model to perform this feature learning. Beside avoiding feature engineering, the meaningful features learned by the seq2seq model can also be utilized for semi-supervised learning. We evaluate both of these benefits on datasets collected from wearable and ambient sensors.

研究の動機と目的

• 手作業で作成された特徴量の限界を解消するため、専門知識を必要とし、一般化能力に欠けるものである。
• 従来のオートエンコーダーがADLデータにおける時間的依存関係と可変長時系列入力を処理する点で欠陥を抱えているのを克服するため。
• ラベル付きデータを特徴抽出に用いずに、生のセンサ時系列から意味的でコンパクトな表現を抽出する自己教師付き特徴学習フレームワークを開発するため。
• 未学習のアクティビティクラスに対するゼロショット推論を通じて、モデルの一般化能力を評価するため。
• 実世界のセンサデータセットを用いたクラス内類似度とクラスタリング性能を通じて、学習された埋め込みの質を評価するため。

提案手法

• 生のセンサ時系列を処理するため、双方向LSTMをエンコーダとして、階層的デコーダを備えたシーケンス・ツー・シーケンス（seq2seq）モデルを採用する。
• 入力時系列を学習された潜在表現から再構成するための再構成損失を用いて、エンド・ツー・エンドでモデルを学習し、教師なし特徴学習を実現する。
• 学習されたエンコーダの最終隠れ状態を、下流の分類タスク用の固定長埋め込みベクトル（activity2vec）として使用する。
• t-SNE可視化を用いて、学習された表現空間におけるactivity2vec埋め込みと手作業特徴量のクラスタリング品質を比較する。
• F1スコアとクラス内類似度の指標を用いて、HAR（ウェアラブルセンサ）およびHH101（環境センサを備えたスマートホームセンサ）の2つのデータセットでモデルを評価する。
• 未学習のクラスを含むクラスを1つずつ除外して学習する「1クラス除外法」の実験を実施し、他のすべてのクラスで学習したモデルが未学習クラスをどのように推論できるかを評価する。

実験結果

リサーチクエスチョン

• RQ1 生のセンサデータから、さまざまなADL認識タスクに一般化可能な意味的意味を持つ埋め込みを、seq2seqモデルが学習できるか？
• RQ2 提案されたactivity2vecフレームワークは、ウェアラブルセンサおよび環境センサデータセットにおいて、手作業特徴量や生データを上回るアクティビティ認識精度を達成できるか？
• RQ3 学習された埋め込みは、クラス内類似度の指標によって示されるように、同じクラスのアクティビティが潜在空間で密にクラスタリングされるような十分な意味的構造を捉えられるか？
• RQ4 再訓練なしで、関連するクラスからの符号化表現のみを用いて、未学習のアクティビティクラスにどの程度一般化できるか？
• RQ5 学習された埋め込みは、センサ時系列データに内在する時間的依存関係と空間的関係を保持しているか？

主な発見

• Activity2VecはHARテストセットで最高のF1スコアを達成した（歩行：0.97、上り坂歩行：0.95、下り坂歩行：0.94）、生データおよび手作業特徴量を上回った。
• activity2vec埋め込みのクラス内類似度は、手作業特徴量（11.90）と比較して顕著に低く（例：立ち止まり：1.15）、同じクラスのインスタンスがより密にクラスタリングされていることを示している。
• 1クラス除外法の評価では、ランダムフォレストモデルが除外されたすべてのクラスでF1スコアが0.92以上を達成し、事前学習済みのactivity2vec特徴量を用いた有効なゼロショット一般化を示した。
• t-SNE可視化により、activity2vec埋め込みは、各アクティビティクラスごとに明確に分離され、幾何学的に整合性のあるクラスタを形成しており、類似したアクティビティ（例：上り坂歩行／下り坂歩行）が近くに位置していることが確認された。
• HH101データセットでも、activity2vecは競争力のある性能（バスタイム：F1: 0.83、身支度：0.87、リラックス：0.93）を示し、手作業特徴量（0.97）と比較してクラス内類似度が低かった（例：バスタイム：1.34）、より良いクラスタリングを示した。
• 教師なし学習やタスク固有のファインチューニングなしに意味的表現を学習できる点が、健康モニタリング応用における半教師あり学習や少数のサンプル学習の可能性を示している。