[論文レビュー] Importance of user inputs while using incremental learning to personalize human activity recognition models

Pekka Siirtola, Heli Koskimäki+1 more|arXiv (Cornell University)|May 28, 2019

Context-Aware Activity Recognition Systems参考文献 8被引用数 4

ひとこと要約

本稿では、インertialセンサデータを用いた個人化された行動認識モデルのための半教師付きインクリメンタル学習手法を提案する。ユーザーは予測が不確かなもの（データの12–26％）にのみラベルを付ける。これにより、最小限のユーザー作業で教師あり学習に近い精度を達成する。本手法は概念ずれを低減し、完全教師あり学習と比較して2%-単位以内の誤差率を達成し、非教師ありおよびユーザーに依存しないモデルと比べて顕著に優れた性能を示す。

ABSTRACT

In this study, importance of user inputs is studied in the context of personalizing human activity recognition models using incremental learning. Inertial sensor data from three body positions are used, and the classification is based on Learn++ ensemble method. Three different approaches to update models are compared: non-supervised, semi-supervised and supervised. Non-supervised approach relies fully on predicted labels, supervised fully on user labeled data, and the proposed method for semi-supervised learning, is a combination of these two. In fact, our experiments show that by relying on predicted labels with high confidence, and asking the user to label only uncertain observations (from 12% to 26% of the observations depending on the used base classifier), almost as low error rates can be achieved as by using supervised approach. In fact, the difference was less than 2%-units. Moreover, unlike non-supervised approach, semi-supervised approach does not suffer from drastic concept drift, and thus, the error rate of the non-supervised approach is over 5%-units higher than using semi-supervised approach.

研究の動機と目的

• インクリメンタル学習における概念ずれを、ユーザーのフィードバックを組み込むことで軽減すること。
• インエラシャルセンサデータを用いたモデルの個人化において、ラベリング作業と認識精度のトレードオフを評価すること。
• 非教師あり、半教師あり、教師あり学習のアプローチを、インクリメンタルなモデルの個人化において比較すること。
• 近似的に教師あり学習の性能を達成するために必要な最小限のユーザー入力を特定すること。
• 基本分類器の選択と信頼度しきい値の設定が、ラベリング効率とモデル精度に与える影響を評価すること。

提案手法

• インクリメンタル学習にLearn++アンサンブル法を用い、フル再トレーニングを伴わずにオンラインでのモデル更新を可能にする。
• 予測の信頼度スコアを生成する性能を評価するため、LDA、QDA、CARTの3つの基本分類器を検証する。
• 半教師付きアプローチでは、信頼度がしきい値（0.90または0.95）を超える予測をモデル更新に使用し、それ以下の不確かな予測はユーザーによるラベリングを要する。
• ユーザーがラベル付けしたインスタンスは、誤分類の是正と概念ずれの防止に使用され、隣接する2つのウィンドウについてもコンテキストを考慮してラベル付けされる。
• ストリーミングデータの予測と選択的かつ人間によるフィードバックを組み合わせることで、時間経過とともにモデルの精度を向上させる。
• 9名の被験者を対象に、腰、手首、腕の3つの身体部位からのデータを用い、1人を除いた被験者を交差検証で評価する。

実験結果

リサーチクエスチョン

• RQ1 半教師付きインクリメンタル学習アプローチは、個人化された行動認識におけるユーザーのラベリング作業を削減しつつ、高い認識精度を維持できるか？
• RQ2 不確かな予測にユーザーがラベルを付けることを組み込むことで、非教師ありおよび完全教師ありアプローチと比較してモデル性能にどのような影響を与えるか？
• RQ3 ユーザーによるラベリングが必要なインスタンスの信頼度ベースの選択に最適なしきい値は何か？また、これは基本分類器によってどのように変化するか？
• RQ4 非教師ありインクリメンタル学習と比較して、半教師付きアプローチは概念ずれをどの程度軽減できるか？
• RQ5 基本分類器（LDA、QDA、CART）の選択が、ラベリング効率と最終的なモデル精度に与える影響は何か？

主な発見

• 半教師付きアプローチでは平均誤差率が4.2–4.3%に抑えられ、非教師ありアプローチの9.5%と比較して、概念ずれの顕著な軽減が確認された。
• 分類器に依存して12–26%のインスタンスのみをラベリングすることで、半教師付き手法は完全教師あり学習と比較して2%-単位以内の誤差率を達成した。
• 半教師付き手法の誤差率は、非教師あり学習と比較して一貫して低く、分類器や身体部位に応じて5.7–11.4パーセンテージポイントの差が生じた。
• しきい値が0.90と0.95の間に有意な差は認められず、両者ともラベリング率（12–26%）とモデル性能が類似していた。
• 分類器に応じて、ラベルの置き換え数をデータの25–47%にまで削減したが、高い精度を維持した。
• 提案手法は、全分類器および身体部位において、ユーザーに依存しないモデルと比較して誤差率を10パーセンテージポイント以上低減した。