[論文レビュー] Potential Impacts of Smart Homes on Human Behavior: A Reinforcement Learning Approach

Shashi Suman, Ali Etemad+1 more|arXiv (Cornell University)|Feb 26, 2021

Green IT and Sustainability参考文献 45被引用数 18

ひとこと要約

本稿では、快適性を最適化するためのQ学習ベースのスマートホーム（SHS）と統合された、ヒエラルヒカル強化学習（HRL）モデルを提案し、スマートホームにおける人間行動のシミュレーションを試みている。その結果、SHSは、人間モデルの報酬関数が不一致である場合でさえ、特にマルチエージェント環境下でも、頻繁な行動切り替えや温度・湿度の調整に要する時間の延長といった意図しない行動的変化を引き起こすことが判明した。

ABSTRACT

We aim to investigate the potential impacts of smart homes on human behavior. To this end, we simulate a series of human models capable of performing various activities inside a reinforcement learning-based smart home. We then investigate the possibility of human behavior being altered as a result of the smart home and the human model adapting to one-another. We design a semi-Markov decision process human task interleaving model based on hierarchical reinforcement learning that learns to make decisions to either pursue or leave an activity. We then integrate our human model in the smart home which is based on Q-learning. We show that a smart home trained on a generic human model is able to anticipate and learn the thermal preferences of human models with intrinsic rewards similar to the generic model. The hierarchical human model learns to complete each activity and set optimal thermal settings for maximum comfort. With the smart home, the number of time steps required to change the thermal settings are reduced for the human models. Interestingly, we observe that small variations in the human model reward structures can lead to the opposite behavior in the form of unexpected switching between activities which signals changes in human behavior due to the presence of the smart home.

研究の動機と目的

• 強化学習を用いたスマートホームが住宅環境における人間の行動パターンを意図せずどのように変化させるかを調査すること。
• 活動の切り替えと熱的快適性の調整が可能な、階層的強化学習（HRL）を用いた人間エージェントのモデル化。
• SHSの適応が人間モデルの行動に与える影響、特に行動切り替え頻度と快適な温度設定に至るまでの時間の観点から評価すること。

提案手法

• 階層的強化学習（HRL）フレームワークを用いて、休息、テレビ視聴、運動といった活動を実行し、温度・湿度を調整して快適性を確保する人間エージェントをモデル化する。
• Q学習ベースのスマートホームモデルは、フィードバックから人間の熱的快適性を学習し、快適性を最大化するように環境設定を適応的に変更する。
• 人間モデルはHRLを用いて最適な活動時間と遷移タイミングを学習する一方、SHSは報酬最大化を通じて不快感を最小化する方策を学習する。
• シミュレーションでは、共有された住宅環境における単一およびマルチ人間モデルを評価し、熱的設定を調整するまでの時間ステップ数と、行動切り替え頻度を測定する。
• 熱的快適性は、定義された範囲内でPMV（予測平均投票）を用いてモデル化され、個々の感受性に応じた内部報酬関数が設定される。
• 実験では、SHSの有無にかかわらずの行動を比較し、平均時間ステップ数（MTS）、平均報酬（MR）、PMV軌道の安定性の観点から分析する。

実験結果

リサーチクエスチョン

• RQ1 強化学習ベースのスマートホームが、シミュレートされた人間エージェントの行動切り替え行動にどのように影響を与えるか？
• RQ2 SHSが人間モデルが熱的設定（温度・湿度）を調整するために要する時間に、どの程度影響を与えるか？
• RQ3 SHSが、自身が学習した人間モデルとは異なるモデルを対象としている場合、頻繁な切り替えや長時間の調整時間といった行動的異常が生じるか？
• RQ4 異なる報酬関数と熱的快適性を有する2人の人間モデルが共有スマートホームで相互作用する場合、行動にどのような影響が生じるか？
• RQ5 複数人の人間モデルが、熱的調整時間の短縮と快適性の最大化を目的として協力する条件は何か？

主な発見

• SHSの学習方針とは報酬関数が不一致である人間モデルでは、頻繁な行動切り替えと、熱的設定の調整に要する時間ステップ数（MTS）の増加が見られ、場合によっては6から11ステップに上昇した。
• 2人の人間モデルが同じ住宅を共有した場合、類似した熱的快適性範囲（例：PMV範囲[-0.25, 0.25]）を持つモデルは、SHSの導入により安定した行動を示し、MTSが11から5ステップに減少した。これは協調性の向上を示している。
• 内部報酬関数が異なるが、熱的快適性範囲が重複するモデル（例：HAとHD）では、SHS導入によりMTSが3〜5ステップに減少し、適応性の向上と対立の低減が確認された。
• 両モデルの熱的快適性範囲が類似している場合、SHSは安定した方策を学習したが、一方のモデルがより多くのフィードバックを提供した場合には、方策収束にバイアスが生じた。
• マルチエージェント環境下では、モデル同士が熱的差を最小化するようにタスク順序を調整し、TH調整に要する時間を短縮し、快適性を向上させた。
• PMV軌道解析から、SHSは快適状態への収束を改善しており、特に感受性が高いモデル（例：HD）では、勾配が急で、より迅速な適応が確認された。