[論文レビュー] Complex behavior from intrinsic motivation to occupy action-state path space

Jorge Ramírez‐Ruiz, Dmytro Grytskyy+3 more|arXiv (Cornell University)|May 20, 2022

Evolutionary Game Theory and Cooperation被引用数 4

ひとこと要約

本稿では、外部報酬ではなく、将来の行動状態パスのエントロピーを最大化する内的動機が、ダンスや隠れんぼ、利他行動といった複雑で目的志向的な行動を生成すると提案している。行動状態経路におけるエントロピー最大化のためのベルマン方程式を定式化することで、最適方策の一意性と収束性を証明し、報酬形状や外部的目標なしに、エージェントが自然に豊富で多様な行動を探索することを示している。

ABSTRACT

Most theories of behavior posit that agents tend to maximize some form of reward or utility. However, animals very often move with curiosity and seem to be motivated in a reward-free manner. Here we abandon the idea of reward maximization, and propose that the goal of behavior is maximizing occupancy of future paths of actions and states. According to this maximum occupancy principle, rewards are the means to occupy path space, not the goal per se; goal-directedness simply emerges as rational ways of searching for resources so that movement, understood amply, never ends. We find that action-state path entropy is the only measure consistent with additivity and other intuitive properties of expected future action-state path occupancy. We provide analytical expressions that relate the optimal policy and state-value function, and prove convergence of our value iteration algorithm. Using discrete and continuous state tasks, including a high--dimensional controller, we show that complex behaviors such as `dancing', hide-and-seek and a basic form of altruistic behavior naturally result from the intrinsic motivation to occupy path space. All in all, we present a theory of behavior that generates both variability and goal-directedness in the absence of reward maximization.

研究の動機と目的

• 強化学習における外部報酬の定義という根本的問題に取り組むこと。これはしばしば恣意的でタスク依存的である。
• エージェントが外部報酬ではなく、長期的な行動状態パスの占有を最大化することを目的とする、新たな内的動機メカニズムを提案すること。
• 行動状態パスのエントロピーを、未来のパス占有に関して加法性、正値性、微分可能性を満たす唯一の測度として形式化すること。
• エントロピー最大化が、離散的および連続的環境の両方で、複雑で適応的かつ明らかに目的志向的な行動を生成することを示すこと。
• エントロピーに基づく方策最適化における一意な解と収束保証を有する数学的に厳密なフレームワークを提供すること。

提案手法

• エージェントの目的は、外部報酬なしのマルコフ決定過程としてモデル化された、割引された未来の行動状態パスのエントロピーを最大化すること。
• 最適方策は、ハイパーパrameter α と β を用いて行動エントロピーと状態エントロピーのバランスを取るベルマン方程式から導出される。
• 状態価値関数は反復価値反復によって計算され、連続的状態空間では線形補間が用いられる。
• エージェントには決定的遷移、他のエージェント（例：ペット）には確率的遷移を適用することで、ベルマン更新における後続状態の和を可能にする。
• 離散的（エージェント・ペット、捕食者・獲物）および連続的（カートポール）環境で、β を変化させることで状態エントロピーと行動エントロピーの重みを制御しながらアルゴリズムを検証した。
• 補間後に価値関数正規化を適用し、有効な確率的方策を保証する。

実験結果

リサーチクエスチョン

• RQ1 外部報酬の形状なしに、ダンスや隠れんぼといった複雑で明らかに目的志向的な行動をエージェントが生成できるか？
• RQ2 行動状態パスのエントロピーが、未来のパス占有に関して加法性と直感的な性質を満たす唯一の測度であるか？
• RQ3 行動状態パスエントロピーの最大化が、ベルマン方程式フレームワークにおいて一意的かつ収束的解をもたらすか？
• RQ4 エントロピー最大化による内的探索が、ペットのためのゲートを開くといった利他行動を自然に生み出せるか？
• RQ5 行動エントロピーと状態エントロピーのバランス（β で制御）が、複雑な行動の出現にどのように影響するか？

主な発見

• カートポール環境において、行動状態パスエントロピーを最大化するエージェントは、外部報酬なしに「ダンス」行動を自発的に示した。
• 捕食者・獲物タスクでは、環境の制約と確率的遷移を活用して、エージェントが自然に隠れんぼを行うことが確認された。
• エージェント・ペットのシナリオでは、β=1 のとき、ゲートを開く（ゲート開放時間の延長）ことを学習し、利他的行動の基本的形を示した。
• ゲートが開いていた時間の割合は、β=0 のとき 0.05 から β=1 のとき 0.85 に上昇し、状態エントロピーの重み付けに強く依存することが示された。
• ヒートマップにより、β の値が高くなるほどペットが到達可能な状態の占有がより均一的かつ広範にわたることが確認され、より豊かな探索が行われていることが示された。
• 理論的解析により、行動状態パスエントロピーのベルマン方程式が一意な解を持ち、反復更新ルールのもとで収束することが証明された。