[論文レビュー] Personalized Activity Recognition with Deep Triplet Embeddings

D. Burns, Cari Whyne|arXiv (Cornell University)|Jan 15, 2020

Context-Aware Activity Recognition Systems被引用数 5

ひとこと要約

本稿では、完全畳み込みニューラルネットワークから得られる深層トライオレット埋め込みを用いた、個人に特化した行動認識システムを提案する。本手法は、一般化性能と分布外検出を向上させるために、新しい被験者ベースのトライオレット損失で訓練される。この方法は、個人に特化しないモデルや特徴工学的ベースラインを著しく上回り、被験者トライオレット損失が、3つのインertialセンサーデータセットにおいて最高の全体的な正確性と頑健性を達成した。

ABSTRACT

A significant challenge for a supervised learning approach to inertial human activity recognition is the heterogeneity of data between individual users, resulting in very poor performance of impersonal algorithms for some subjects. We present an approach to personalized activity recognition based on deep embeddings derived from a fully convolutional neural network. We experiment with both categorical cross entropy loss and triplet loss for training the embedding, and describe a novel triplet loss function based on subject triplets. We evaluate these methods on three publicly available inertial human activity recognition data sets (MHEALTH, WISDM, and SPAR) comparing classification accuracy, out-of-distribution activity detection, and embedding generalization to new activities. The novel subject triplet loss provides the best performance overall, and all personalized deep embeddings out-perform our baseline personalized engineered feature embedding and an impersonal fully convolutional neural network classifier.

研究の動機と目的

• インertialセンサーデータにおけるユーザー固有の不均一性が、個人に特化しないHARモデルの性能を低下させることに起因する課題に対処すること。
• 学習された深層埋め込みが、従来の特徴工学的特徴よりも、個人に特化した行動認識において優れているかどうかを評価すること。
• 特に、新しい被験者トライオレット選択戦略を用いたトライオレット損失の有効性を検証すること。
• 再訓練なしで分布外の行動を検出できるように、オープンセット認識を可能にすること。
• モデルのコンactさと効率的な推論を活用して、エッジデバイスへのデプロイの可能性を評価すること。

提案手法

• インertialセンサータイムシリーズから深層埋め込みを抽出するために、完全畳み込みニューラルネットワーク（FCN）をバックボーンとして用いる。
• 2つの訓練目的を比較する：カテゴリー交差エントロピー損失と、新しい被験者ベースのトライオレット損失関数。
• 被験者トライオレット損失は、同じユーザーで同じ行動のポジティブサンプル、同じユーザーで異なる行動のネガティブサンプル、および異なるユーザーからのハードネガティブサンプルから成るトライオレットを選択し、ユーザー間の識別性能を向上させる。
• 個人に特化した推論では、被験者固有のリファレンス埋め込み上でのk近傍（k-NN）検索を用い、オープンセット認識を実現する。
• 性能は、正確性、OOD検出、埋め込みの一般化性能を指標として、3つの公開データセット（MHEALTH、WISDM、SPAR）で評価される。
• エッジデバイスへのデプロイを支援するために、わずか約278,848パラメータ（約1 MB）のコンパクトなFCNが用いられる。

実験結果

リサーチクエスチョン

• RQ1 トライオレット損失で訓練された深層埋め込みは、交差エントロピー損失や特徴工学的特徴と比較して、個人に特化した行動認識性能を向上させるか？
• RQ2 ユーザー固有のハードネガティブサンプルに基づく新しい被験者トライオレット損失関数は、多様なユーザー間でのモデルの一般化性と頑健性を向上させるか？
• RQ3 個人に特化した埋め込みは、標準的なソフトマックス分類器と比較して、分布外の行動をどれほど効果的に検出できるか？
• RQ4 学習された埋め込み上でのk-NN検索は、再訓練なしに効果的なオープンセット認識を可能にするか？
• RQ5 提案された個人に特化した埋め込みアプローチは、エッジデバイスへのデプロイに実用的か？

主な発見

• 新しい被験者トライオレット損失は、MHEALTH、WISDM、SPARの3つのデータセットすべてで最高の分類正確性を達成し、交差エントロピー損失および特徴工学的ベースラインを上回った。
• すべての個人に特化した深層埋め込みモデル（PEF、PDF、PTN）は、正確性と頑健性の観点から、個人に特化しない完全畳み込みニューラルネットワーク（FCN）分類器を著しく上回った。
• 個人に特化したk-NN推論手法により、効果的な分布外行動検出が実現され、平均近傍距離が信頼性の高いOODスコアとして機能した。
• FCNコアモデルは、わずか約278,848パラメータ（約1 MB）であり、リアルタイムでデバイス上での推論を可能にするエッジデバイスへのデプロイに十分なコンパクトさを備えていた。
• 被験者トライオレット戦略は非常に効果的で、従来のトライオレット選択手法を上回り、あらかじめ計算された埋め込みを必要としないため、計算的にも効率的であった。
• リファレンスセグメントとテストセグメントの時間的重複が限定的であったにもかかわらず、本手法は強力な一般化性能を示し、さらなるデータ収集を経て、実世界へのデプロイの可能性を示唆した。