[論文レビュー] Stratified Transfer Learning for Cross-domain Activity Recognition

Jindong Wang, Yiqiang Chen+3 more|arXiv (Cornell University)|Dec 25, 2017

Context-Aware Activity Recognition Systems参考文献 33被引用数 37

ひとこと要約

本稿では、グローバルなドメインシフトに依存せず、クラス内類似性を活用することで分類精度を向上させる、新しいクロスドメイン行動認識フレームワーク「階層的転移学習（STL）」を提案する。疑似ラベル付けとクラス内知識移行を繰り返し行うことで、クラス固有の部分空間を学習するSTLは、3つの公開データセットにおいて最先端手法よりも7.68%の精度向上を達成した。

ABSTRACT

In activity recognition, it is often expensive and time-consuming to acquire sufficient activity labels. To solve this problem, transfer learning leverages the labeled samples from the source domain to annotate the target domain which has few or none labels. Existing approaches typically consider learning a global domain shift while ignoring the intra-affinity between classes, which will hinder the performance of the algorithms. In this paper, we propose a novel and general cross-domain learning framework that can exploit the intra-affinity of classes to perform intra-class knowledge transfer. The proposed framework, referred to as Stratified Transfer Learning (STL), can dramatically improve the classification accuracy for cross-domain activity recognition. Specifically, STL first obtains pseudo labels for the target domain via majority voting technique. Then, it performs intra-class knowledge transfer iteratively to transform both domains into the same subspaces. Finally, the labels of target domain are obtained via the second annotation. To evaluate the performance of STL, we conduct comprehensive experiments on three large public activity recognition datasets~(i.e. OPPORTUNITY, PAMAP2, and UCI DSADS), which demonstrates that STL significantly outperforms other state-of-the-art methods w.r.t. classification accuracy (improvement of 7.68%). Furthermore, we extensively investigate the performance of STL across different degrees of similarities and activity levels between domains. And we also discuss the potential of STL in other pervasive computing applications to provide empirical experience for future research.

研究の動機と目的

• ラベルの不足に起因する行動認識の課題に対処するため、ラベル付きのソースドメインからラベルなしのターゲットドメインへ知識を転送可能にする。
• 従来の転移学習手法がグローバルなドメインシフトに依存し、クラス内関係を無視するという限界を克服する。
• クラス内類似性を活用することで、クロスドメイン環境下での分類の頑健性と精度を向上させる汎用性の高いフレームワークを開発する。
• 実世界のパーソナルコンピューティング応用において、ドメイン類似度や行動の複雑さの違いを想定した状況でもSTLの有効性を示す。

提案手法

• ラベルなしのターゲットドメインのサンプルに対して、信頼性の高い疑似ラベルを生成するためにメジャリティ投票手法を用いる。
• ソースドメインとターゲットドメインの対応するクラスを、共有のクラス固有の部分空間に一致させるイテレーティブなクラス内知識移行を実行する。
• クラスごとの射影行列を用いて、ソースドメインとターゲットドメインの両方を、クラス内コンactnessを保持する同じ次元の低次元部分空間に変換する。
• 一致させたクラス内に注意を払った表現に基づき、ターゲットドメインの最終ラベルを予測するための2段階目のアノテーション処理を実施する。
• ドメイン整合性と特徴保持のバランスをとるために、トレードオフパラメータλと次元数mを統合し、mの変動に対する頑健性を実証的に検証する。
• 各ステップを特定の応用状況に合わせてカスタマイズ可能なように、モジュラーかつ柔軟なフレームワークを設計する。

実験結果

リサーチクエスチョン

• RQ1 ソースドメインとターゲットドメイン間のクラス内類似性を有効に活用することで、グローバルなドメインシフトを超えたクロスドメイン行動認識が向上するか？
• RQ2 ドメイン類似度や行動の複雑さの異なるレベルにおいて、STLの性能はどのように変化するか？
• RQ3 実世界のHARデータセットにおいて、STLは既存の最先端の転移学習手法をどれだけ上回る分類精度を達成するか？
• RQ4 特徴空間における選択された次元数（m）の変動に対して、STLはどの程度頑健か？
• RQ5 行動認識を越えた幅広いパーソナルコンピューティング応用において、STLの実用的意義と一般化可能性は何か？

主な発見

• STLは、OPPORTUNITY、PAMAP2、UCI DSADSという3つの大規模な公開データセットにおいて、5つの最先端手法を上回る7.68%の顕著な分類精度向上を達成した。
• 次元ハイパーパramータmの異なる値に対しても、STLの性能は安定的かつ一貫して優れていることから、特徴空間の次元数の変動に対して頑健であることが示された。
• STLは、PCA、LLE、KPCAといった従来の次元削減手法を上回り、グローバル構造に依存するのではなく、クラス内関係を明示的にモデル化しているためである。
• クラス固有の部分空間に注目することで、ドメインシフトの悪影響を効果的に緩和し、異なるドメイン間で同じクラスのサンプルがより緊密にクラスタリングされるようになった。
• 広範なアブレーションスタディにより、メジャリティ投票に基づく疑似ラベル付けとイテレーティブなクラス内整合が、フレームワークの成功に不可欠であることが確認された。
• STLは、クロスデバイス／ユーザー／位置の行動認識、WiFi局所化、ジェスチャー認識、スマートホームセンシングなど、他のパーソナルコンピューティングタスクへの応用可能性も示している。