[論文レビュー] Design and Comparison of Reward Functions in Reinforcement Learning for Energy Management of Sensor Nodes

Yohann Rioual, Yannick Le Moullec+3 more|arXiv (Cornell University)|Jun 2, 2021

Reinforcement Learning in Robotics参考文献 23被引用数 5

ひとこと要約

本稿では、無線センサーノードにおけるQラーニングベースのエネルギー管理のための7つの報酬関数を設計および評価し、バッテリーソースオブチャージ（SoC）に基づいて性能とエネルギー消費のトレードオフを最適化する動的バランスパラメータを備えた適応型報酬関数（R6およびR7）が、エネルギー効率を著しく向上させるとともに学習時間を短縮することを示している。

ABSTRACT

Interest in remote monitoring has grown thanks to recent advancements in Internet-of-Things (IoT) paradigms. New applications have emerged, using small devices called sensor nodes capable of collecting data from the environment and processing it. However, more and more data are processed and transmitted with longer operational periods. At the same, the battery technologies have not improved fast enough to cope with these increasing needs. This makes the energy consumption issue increasingly challenging and thus, miniaturized energy harvesting devices have emerged to complement traditional energy sources. Nevertheless, the harvested energy fluctuates significantly during the node operation, increasing uncertainty in actually available energy resources. Recently, approaches in energy management have been developed, in particular using reinforcement learning approaches. However, in reinforcement learning, the algorithm's performance relies greatly on the reward function. In this paper, we present two contributions. First, we explore five different reward functions to identify the most suitable variables to use in such functions to obtain the desired behaviour. Experiments were conducted using the Q-learning algorithm to adjust the energy consumption depending on the energy harvested. Results with the five reward functions illustrate how the choice thereof impacts the energy consumption of the node. Secondly, we propose two additional reward functions able to find the compromise between energy consumption and a node performance using a non-fixed balancing parameter. Our simulation results show that the proposed reward functions adjust the node's performance depending on the battery level and reduce the learning time.

研究の動機と目的

• エネルギー収集型センサーノードにおけるエネルギー管理の最適な報酬関数の構成要因を特定すること。
• 異なる報酬関数設計がエネルギー消費を管理するQラーニングの性能に与える影響を評価すること。
• バッテリーソースオブチャージに基づいて、エネルギー消費とノード性能のバランスを動的に調整する適応型報酬関数を開発すること。
• センサーノード運用におけるエネルギー効率を維持または向上させつつ、学習時間を短縮すること。

提案手法

• バッテリーソースオブチャージ、収集エネルギー、測定周波数、およびパフォーマンス指標を組み合わせた5つのベースライン報酬関数（R1–R5）を設計した。
• エネルギー使用と性能のトレードオフを最適化するために、バッテリー残量に応じてスケーリングされる非固定バランスパラメータを備えた2つの高度な報酬関数（R6およびR7）を提案した。
• 強化学習アルゴリズムとしてQラーニングを用い、変動するエネルギー収集条件を想定したシミュレーテッド環境でエージェントの学習を実施した。
• 複数日間にわたるシミュレーションを通じて報酬関数を評価し、バッテリー充電レベルと測定周波数を主なパフォーマンス指標として追跡した。
• R6およびR7の設計には、現在のバッテリー状態に応じて調整される動的バランスパラメータが組み込まれており、適応性が向上している。
• 24日間の延長シミュレーションによりQ値の収束が検証され、安定したポリシー学習が確認された。

実験結果

リサーチクエスチョン

• RQ1 バッテリー残量、収集エネルギー、測定周波数などの異なる報酬関数構成要素が、エネルギー管理におけるQラーニングの学習およびパフォーマンスに与える影響は何か？
• RQ2 固定パラメータと動的バランスパラメータの違いが、エネルギー消費とノードパフォーマンスのトレードオフに与える影響は何か？
• RQ3 バッテリーSoCに応じて適応する報酬関数は、学習効率およびエネルギー管理の成果を向上させることができるか？
• RQ4 どの報酬関数設計が、エネルギー収集型センサーノードにおいて最も速い収束と最も安定した挙動を実現するか？

主な発見

• バランスパラメータβを含む報酬関数R1およびR2は、エネルギー消費を収集エネルギーのレベルに適応させることができ、良好なパフォーマンスを示した。
• R5は主に支配的モーション周波数に基づいているが、エネルギー収集に適応するが、必要に応じてパフォーマンスを優先しない。
• R3およびR4は性能が低かった：R3はエネルギー使用と収集の間の関連性が欠如している一方、R4はエネルギーが少ないときの消費を低下させられていない。
• R6およびR7は動的バランスパラメータを備えており、バッテリー状態に応じて適応し、学習時間を短縮する点で固定パラメータ関数を上回った。
• シミュレーション結果から24日間の収束が確認され、変動するエネルギー条件下でも安定的かつ適応的な挙動が示された。
• 提案された報酬関数（R6およびR7）は、さまざまなバッテリー容量に対して頑健であり、システム部品の事前知識を必要としない。