[論文レビュー] Modeling the effects of environmental and perceptual uncertainty using deterministic reinforcement learning dynamics with partial observability

Wolfram Barfuß, Richard P. Mann|PubMed|Sep 15, 2021

Embodied and Extended Cognition被引用数 5

ひとこと要約

本稿では、部分的観測性を持つエージェントにおける決定論的強化学習ダイナミクスを導入し、環境的・知覚的不確実性の効率的モデリングを可能にした。部分的観測性が学習を加速させ、収束を安定化させ、さらには社会的ジレンマを解消することさえ可能であることが明らかになった。生物学、社会科学、機械学習分野におけるマルチエージェントシステムに、軽量で解析可能なツールを提供する。

ABSTRACT

Assessing the systemic effects of uncertainty that arises from agents' partial observation of the true states of the world is critical for understanding a wide range of scenarios, from navigation and foraging behavior to the provision of renewable resources and public infrastructures. Yet previous modeling work on agent learning and decision-making either lacks a systematic way to describe this source of uncertainty or puts the focus on obtaining optimal policies using complex models of the world that would impose an unrealistically high cognitive demand on real agents. In this work we aim to efficiently describe the emergent behavior of biologically plausible and parsimonious learning agents faced with partially observable worlds. Therefore we derive and present deterministic reinforcement learning dynamics where the agents observe the true state of the environment only partially. We showcase the broad applicability of our dynamics across different classes of partially observable agent-environment systems. We find that partial observability creates unintuitive benefits in several specific contexts, pointing the way to further research on a general understanding of such effects. For instance, partially observant agents can learn better outcomes faster, in a more stable way, and even overcome social dilemmas. Furthermore, our method allows the application of dynamical systems theory to partially observable multiagent leaning. In this regard we find the emergence of catastrophic limit cycles, a critical slowing down of the learning processes between reward regimes, and the separation of the learning dynamics into fast and slow directions, all caused by partial observability. Therefore, the presented dynamics have the potential to become a formal, yet practical, lightweight and robust tool for researchers in biology, social science, and machine learning to systematically investigate the effects of interacting partially observant agents.

研究の動機と目的

• 環境的および知覚的不確実性の影響をモデル化するための体系的かつ計算的に効率的な手法の開発。
• 特にマルチエージェント設定において、部分的観測性の影響を捉える記述的で軽量なモデルの不足に応えること。
• 部分的観測性マルチエージェント学習に力学系理論を適用可能にする。これにより、限界サイクルや臨界遅れといった出現的現象を明らかにすること。
• 部分的観測性が、学習の高速化や社会的ジレンマの解決といった直感に反する利点をもたらすメカニズムを解明すること。
• 認知生態学、社会科学、機械学習分野の研究者が、真実に反するまたは不完全な世界表現を扱う非言語的・実用的なフレームワークを提供すること。

提案手法

• エージェントが真の環境状態を直接観測しない状況を明示的に扱う決定論的強化学習ダイナミクスを導出。
• 部分的観測マルコフ意思決定過程（POMDP）、Dec-POMDP、一般化された部分的観測確率的ゲームにこのフレームワークを適用。
• 時間差分学習の原則に基づく連続時間ダイナミクスを用い、平均場近似を用いて状態の不確実性を決定論的に処理。
• 力学系理論のツールを用いて学習軌道を分析。特に、固有値分解を用いて高速・低速の固有方向を特定。
• 学習ダイナミクスを明確に分離した時間スケールの形式的定式化を導入。これにより、相転移の前触れとなる臨界遅れの検出が可能に。
• 解析的および数値的手法を用いて、採掘、社会的ジレンマ、資源管理など多様な環境で手法の妥当性を検証。

実験結果

リサーチクエスチョン

• RQ1 部分的観測性は、マルチエージェントシステムにおける強化学習の速度、安定性、収束性にどのように影響を与えるか？
• RQ2 部分的観測性は、学習の高速化や社会的ジレンマの解決といった、出現的利点をもたらす可能性があるか。その条件は何か？
• RQ3 部分的観測性によって、学習プロセスに限界サイクルや臨界遅れといった力学的現象が生じるか？
• RQ4 部分的観測性は、探索率や時間割引率といった主要なハイパーパrameter間の関係をどのように変化させるか？
• RQ5 環境の非真実的または不完全な表現が、どのように行動的成果を向上させる可能性があるか？

主な発見

• 一部の環境では、完全に観測可能なエージェントよりも、部分的観測性を持つエージェントがより良い結果をより速くかつより安定して達成できる。これは、誘発されるダイナミクスの単純化に起因する。
• 部分的観測性は、学習ダイナミクスに壊滅的限界サイクルと多安定性をもたらし、複雑で非線形な挙動を示す。
• 報酬レジーム間の遷移の前には、臨界遅れが観測され、学習性能における近い段階的転移の兆候となる。
• 部分的観測性下では、学習ダイナミクスが高速・低速の固有方向に分離され、低速方向が収束時間の延長を示す。
• 部分的観測性を持つエージェントは、完全に観測可能なエージェントと比較して、より高い探索率と、将来の報酬への重みの低減を必要とし、ハイパーパrameter同士の依存関係が高まる。
• 社会的ジレンマにおいて、相互的な部分的観測性は協力を促進するが、一部のエージェントだけが情報が不完全な場合、この利点は崩壊し、報酬の不平等が生じる。