[論文レビュー] Online Feature Selection for Activity Recognition using Reinforcement Learning with Multiple Feedback

Taku Yamagata, Raúl Santos‐Rodríguez+2 more|arXiv (Cornell University)|Aug 16, 2019

Context-Aware Activity Recognition Systems参考文献 8被引用数 7

ひとこと要約

本論文は、スマートホームセンサーからの複数のフィードバック源を活用することで、電力消費と精度のバランスを動的に制御する強化学習（RL）ベースのウェアラブルアクティビティ認識のオンライン特徴選択手法を提案する。この手法はオンラインフィードバックの一貫性推定により学習を加速し、SPHEREデータセットにおいてベースラインを上回るトレードオフ性能を達成し、電力消費を低減しながらも低誤差率を維持する。

ABSTRACT

Recent advances in both machine learning and Internet-of-Things have attracted attention to automatic Activity Recognition, where users wear a device with sensors and their outputs are mapped to a predefined set of activities. However, few studies have considered the balance between wearable power consumption and activity recognition accuracy. This is particularly important when part of the computational load happens on the wearable device. In this paper, we present a new methodology to perform feature selection on the device based on Reinforcement Learning (RL) to find the optimum balance between power consumption and accuracy. To accelerate the learning speed, we extend the RL algorithm to address multiple sources of feedback, and use them to tailor the policy in conjunction with estimating the feedback accuracy. We evaluated our system on the SPHERE challenge dataset, a publicly available research dataset. The results show that our proposed method achieves a good trade-off between wearable power consumption and activity recognition accuracy.

研究の動機と目的

• ウェアラブルベースのアクティビティ認識におけるエネルギー-精度トレードオフを解消するために、デバイス内でのコンテキストに応じた特徴選択を可能にする。
• 低リソースなウェアラブル環境における標準RLの学習速度の遅さを克服するため、ハイレベルセンサーからのフィードバックを統合する。
• 固定されたフィードバック品質を仮定するのではなく、リアルタイムで複数のフィードバック源の信頼性を推定することで、ポリシー学習を改善する。
• 補完的センサーからのコンテキストの手がかりに基づいて、動的かつオンラインで特徴セットを適応的に変更可能にする。
• 静的またはランダムな特徴選択戦略よりも、エネルギー効率と分類精度のバランスをより良く達成する。

提案手法

• エージェントがウェアラブルデバイス上で低電力および高電力の特徴セットの間で選択する、マーカフ連鎖過程（MDP）としてオンライン特徴選択を定式化する。
• アドバイスアルゴリズムを拡張し、補完的センサー（例：PIR、RGB-D）からの複数のフィードバック源をサポートすることで、ポリシー学習を加速する。
• エージェントの予測とのフィードバックの一致度に基づく重み付き更新メカニズムを用いて、各フィードバック源の一貫性（信頼性）をオンラインで推定する。
• 遅延報酬形状を用いたQラーニングベースのRLフレームワークを採用し、ホストプロセッサからのフィードバックがエージェントの最適な特徴選択ポリシーへの到達を導く。
• ホストの分類結果がエージェントの予測と一致し、かつ電力制約を満たしている場合にのみフィードバックを統合する。
• 各センサーモダリティごとのフィードバック一貫性レベルの動的推定を維持し、エージェントがより信頼性の高いソースを適応的に信頼できるようにする。

実験結果

リサーチクエスチョン

• RQ1 ハイレベルセンサーからの複数のフィードバック源は、低電力ウェアラブルデバイス上でのRLベース特徴選択エージェントの学習速度とポリシー品質を向上させることができるか？
• RQ2 オンラインでのフィードバック一貫性推定は、動的かつ現実世界の環境下でのRLエージェントのロバスト性と収束性にどのように影響するか？
• RQ3 提案手法は、固定またはランダムな特徴選択戦略と比較して、電力消費と分類精度のトレードオフをどの程度より良く達成できるか？
• RQ4 複数の信頼性の低いフィードバック源からの学習が、単一フィードバックまたはフィードバックなしのベースラインと比較して、より安定的かつ正確なポリシー学習を可能にするか？

主な発見

• オンライン一貫性推定を組み込んだ提案手法「Multi-Trainers」は、電力消費と誤差率のバランスが最も優れており、すべてのベースラインを上回った。
• Multi-Trainers手法の学習曲線は、Qラーニングよりも収束が早く、漸近的報酬値も高かった。Qラーニングは同程度の性能に到達するまで15,000エピソード以上を要した。
• ランダムベースラインは固定された低電力ベースラインよりも誤差率が低かった（約0.19）が、電力消費は2倍以上であった。これはランダム選択の非効率性を示している。
• 固定された低電力ベースラインは、電力消費が最も低かったが、誤差率は最大（約0.81）であり、エネルギー節約の一方で精度が著しく低いことが判明した。
• Qラーニングは提案手法よりも電力消費を低く抑えたが、誤差率が増加した。これは、二重目的（エネルギー効率と精度）を効果的に最適化できていないことを示している。
• 一貫性レベル推定メカニズムは、RGB-DセンサーがPIRセンサーよりも信頼性が高いことを的確に同定し、実証的に高い一貫性レベルを示した。これは、オンライン推定の必要性を裏付けた。