[論文レビュー] On Value Functions and the Agent-Environment Boundary

Nan Jiang|arXiv (Cornell University)|May 30, 2019

Reinforcement Learning in Robotics参考文献 21被引用数 6

ひとこと要約

この論文は強化学習理論における境界依存性の根本的問題に取り組み、価値関数や理論的仮定がエージェント-環境境界の位置に依存するという点を扱う。Fitted Q-Iterationの境界不変な分析を提案し、古典的な価値関数の代わりに弱い不変条件を用いることで、境界の選択にかかわらず一貫した理論的保証が得られるようにする。

ABSTRACT

When function approximation is deployed in reinforcement learning (RL), the same problem may be formulated in different ways, often by treating a pre-processing step as a part of the environment or as part of the agent. As a consequence, fundamental concepts in RL, such as (optimal) value functions, are not uniquely defined as they depend on where we draw this agent-environment boundary, causing problems in theoretical analyses that provide optimality guarantees. We address this issue via a simple and novel boundary-invariant analysis of Fitted Q-Iteration, a representative RL algorithm, where the assumptions and the guarantees are invariant to the choice of boundary. We also discuss closely related issues on state resetting and Monte-Carlo Tree Search, deterministic vs stochastic systems, imitation learning, and the verifiability of theoretical assumptions from data.

研究の動機と目的

• エージェント-環境境界に依存する価値関数や理論的仮定の問題を特定・解決すること。
• 古典的な理論的分析が、実現可能性や低ベルマン誤差といった境界依存仮定により、同等の問題定式化において一貫性を欠くことの証明。
• エージェント-環境境界の位置に関係なく正しく保証が得られるように、Fitted Q-Iterationの境界不変な理論的枠組みを構築すること。
• データから理論的仮定を検証可能にする問題に取り組み、状態リセットがなければ古典的仮定は根本的に検証不能であることを示すこと。
• 境界に依存しない条件に基づいて分析を根拠とすることで、状態、価値関数、最適性の概念的明確化を図ること。

提案手法

• 古典的な価値関数やベルマン方程式の代わりに、データの期待値に基づく弱い不変条件を用いて、境界不変なFitted Q-Iterationの定式化を提案する。
• 実現可能性や低固有ベルマン誤差といった境界依存仮定を、エージェント-環境境界に依存しないデータ分布の期待値に基づく条件に置き換える。
• 関数クラスとデータ分布に対する全称記号を用いた形式的枠組みを採用し、境界のシフトに対しても不変性を保証する。
• これらの不変仮定は、状態リセットを要しないモンテカルロ推定により検証可能であることを示す。古典的な条件付き期待値とは異なり、状態リセットが必要である。
• 模倣学習への応用を通じて、エキスパートのデモンストレーションが境界の不一致によりまったく無意味になる可能性があることを示す。
• 古典的な実現可能性仮定が、敵対的データ分布下では有限データから検証不能であることを形式的証明し、不変代替案の必要性を強調する。

実験結果

リサーチクエスチョン

• RQ1 エージェント-環境境界の選択が、関数近似に基づくRLにおける最適価値関数の定義と理論的保証にどのように影響を与えるか？
• RQ2 エージェント-環境境界に依存しない理論的分析が、正しさと意味のある保証を維持しながら可能か？
• RQ3 なぜ古典的な実現可能性とベルマン誤差仮定は自然に生成されたデータから根本的に検証不能であり、代替案は何か？
• RQ4 境界依存性が模倣学習に与える影響は何か。特にエキスパートと学習者が異なる境界で動作する場合に？
• RQ5 境界不変仮定はどの程度実用的に検証可能か。その際の計算的課題は何か？

主な発見

• 同じRL問題でも、エージェント-環境境界の位置によって異なる最適価値関数が得られるため、理論的構造の一意性が損なわれる。
• 実現可能性や低ベルマン誤差といった古典的仮定は境界依存であり、状態リセットなしでは有限データから検証できない。
• データの期待値に基づく弱い不変条件に置き換えることで、Fitted Q-Iterationの境界不変な分析が可能になる。
• 境界不変仮定から導かれる理論的保証は、境界の位置に関係なく、すべての同等の問題定式化において一貫性を保つ。
• エキスパートと学習者が異なるエージェント-環境境界で動作する場合、エキスパートのデモンストレーションは完全に無意味になる可能性がある。
• 境界不変仮定の検証は、全称記号のため計算的に困難であるが、モンテカルロ推定やドメインに依存するサンプリングにより、原則として可能である。