[論文レビュー] On Reward Function for Survival

Naoto Yoshida|arXiv (Cornell University)|Jun 18, 2016

Fault Detection and Control Systems参考文献 23被引用数 6

ひとこと要約

本稿では、生存確率を最大にするという目標を、多段階生存確率の対数として定式化することにより、生存のための根本的な強化学習（RL）報酬関数を提案する。この方法により、変分推論を用いて標準的なRL目的関数に変換され、エージェントが効果的な生存戦略を学習可能であることが示された—バッテリーのレベルを維持し、毒物を避けることで、ランダムなエージェントよりも生存時間が長くなった。

ABSTRACT

Obtaining a survival strategy (policy) is one of the fundamental problems of biological agents. In this paper, we generalize the formulation of previous research related to the survival of an agent and we formulate the survival problem as a maximization of the multi-step survival probability in future time steps. We introduce a method for converting the maximization of multi-step survival probability into a classical reinforcement learning problem. Using this conversion, the reward function (negative temporal cost function) is expressed as the log of the temporal survival probability. And we show that the objective function of the reinforcement learning in this sense is proportional to the variational lower bound of the original problem. Finally, We empirically demonstrate that the agent learns survival behavior by using the reward function introduced in this paper.

研究の動機と目的

• 将来の多段階生存確率の確率的最適化として生存問題を形式化すること。
• 生存戦略の学習と古典的強化学習の間のギャップを埋めるために、原理的報酬関数を導出すること。
• 変分推論を用いた生存確率の最大化が、特定の報酬関数を用いた標準的なRL目的関数に等価であることを示すこと。
• この報酬関数で訓練されたエージェントが、リソース管理や危険回避を含む効果的な生存行動を学習できることを実証的に検証すること。

提案手法

• 状態遷移の確率的モデルを用いて、T未来ステップにおける生存確率を最大にする生存問題を定式化する。
• 真の生存目的の代理として機能する、時間的生存確率の対数の負の値として定義された報酬関数を導入する。
• 変分推論と期待値最大化（EM）アルゴリズムを用いて、生存確率目的関数の下界（変分自由エネルギー）を導出する。
• Mステップにおける負の自由エネルギー関数が、提案された報酬関数を用いた標準的なRL目的関数と数学的に同等であることを示す。
• Sarsa(λ)をモデルフリーRLアルゴリズムとして採用し、バッテリー、食物、毒物の状態を含むシミュレーテッド環境で、導出された報酬関数に基づいてエージェントを訓練する。
• 生存フラグメカニズムを用いてエージェントの存続可能性を追跡し、生存確率がしきい値未満に下がった時点でエピソードを終了する。

実験結果

リサーチクエスチョン

• RQ1 生存問題は、多段階生存確率最大化タスクとして形式的に定式化可能か？
• RQ2 このような生存目的は、意味のある報酬関数を持つ標準的な強化学習問題にどのように変換可能か？
• RQ3 生存確率の対数に基づく導出報酬関数は、頑健な生存行動を学習させるために有効か？
• RQ4 生存目的の変分下界は、古典的RL目的関数と整合しており、既存のRLアルゴリズムの使用を可能にするか？

主な発見

• 提案された生存報酬関数を用いたSarsa(λ)エージェントは、25ステップをわずかに超える生存時間しか示さないランダムエージェントと比べ、中央値の生存時間が著しく長くなった。
• エージェントはバッテリーのレベルを望ましい60の周辺で維持しており、生理的状態の効果的な制御が行われたことを示している。
• 評価中、エージェントが摂取した毒物（B）の数は常にゼロのまま維持され、有害な刺激の回避が確認された。
• エージェントは時間の経過とともに有益な食物（A）の摂取量を増加させ、適応的で探求的行動を示した。
• 実験結果から、提案された報酬関数が、リソース管理や危険回避を含む複雑な生存戦略の学習を可能にすることが確認された。