[論文レビュー] Unbiased Asymmetric Reinforcement Learning under Partial Observability

Andrea Baisero, Christopher Amato|arXiv (Cornell University)|May 25, 2021

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本論文は、部分的に観測可能な強化学習の文脈において、状態のみに依存する価値関数 $V^\pi(s)$ の代わりに履歴状態価値関数 $\hat{V}(h,s)$ を使用する、バイアスのない非対称アクタ・クリティック手法を提案する。この手法により、先行研究のバイアスを含む理論的欠陥が解消され、方策勾配の正当性が保証され、訓練バイアスが低減され、メモリ集約的で部分的に観測可能な環境（例：Heaven-Hell-4 や Memory-Four-Rooms-9x9）において、対称的およびバイアスを含む非対称ベースラインと比較して高速な収束と優れた性能を達成する。

ABSTRACT

In partially observable reinforcement learning, offline training gives access to latent information which is not available during online training and/or execution, such as the system state. Asymmetric actor-critic methods exploit such information by training a history-based policy via a state-based critic. However, many asymmetric methods lack theoretical foundation, and are only evaluated on limited domains. We examine the theory of asymmetric actor-critic methods which use state-based critics, and expose fundamental issues which undermine the validity of a common variant, and limit its ability to address partial observability. We propose an unbiased asymmetric actor-critic variant which is able to exploit state information while remaining theoretically sound, maintaining the validity of the policy gradient theorem, and introducing no bias and relatively low variance into the training process. An empirical evaluation performed on domains which exhibit significant partial observability confirms our analysis, demonstrating that unbiased asymmetric actor-critic converges to better policies and/or faster than symmetric and biased asymmetric baselines.

研究の動機と目的

• 部分的観測環境において、状態ベースのクリティック $V^\pi(s)$ を使用する既存の非対称アクタ・クリティック手法に内在する理論的欠陥を特定すること。
• 部分的観測下において、潜在状態情報を取り入れた非対称アクタ・クリティック手法の厳密な方策勾配定理を確立すること。
• クリティックの入力に履歴状態ペア $(h,s)$ を使用する、新たなバイアスのない非対称アクタ・クリティックの変種を設計し、学習バイアスが生じないことを保証すること。
• 高い部分的観測性を示す環境において理論的主張を実証的に検証し、対称的およびバイアスを含む非対称ベースラインと比較して、収束速度と最終的な方策品質に優れていることを示すこと。
• 単一エージェントおよびマルチエージェント強化学習におけるオフライン学習における特権情報の原理的利用の基盤を築くこと。

提案手法

• エージェントの履歴 $h$ と真のシステム状態 $s$ に同時に依存する新しいクリティックアーキテクチャ $\hat{V}^\pi(h,s)$ を提案し、POMDPにおけるより正確な価値推定を可能にする。
• $\hat{V}^\pi(h,s)$ の使用を形式的に正当化する新しい非対称方策勾配定理を導出する。これにより、バイアスのない勾配更新が保証される。
• 標準の A2C と同一の方策ネットワークを維持しながら、履歴状態クリティックを使用する A2C-asym-hs アルゴリズムを導入する。
• クリティックの価値推定が観測可能な履歴と特権状態の両方に根ざしていることを保証する訓練目的関数を採用し、状態のみのクリティックが生じる曖昧性を回避する。
• クリティックが履歴と状態の両方の入力を受ける二重ブランチ構造を採用する一方で、方策は履歴に基づくままに保ち、オンライン実行制約を維持する。
• オフポリシーの経験リプレイと標準的な A2C 更新ルールを採用するが、価値関数ターゲットを履歴状態クリティックに変更することで、一貫性がありバイアスのない学習を実現する。

(a) State.

実験結果

リサーチクエスチョン

• RQ1 非対称アクタ・クリティック手法における状態ベースのクリティック $V^\pi(s)$ が、部分的観測環境でなぜバイアスを含む学習を引き起こすのか？
• RQ2 特権状態情報を取り入れた非対称アクタ・クリティック手法に対して、理論的に整合性のある方策勾配定理を導出できるか？
• RQ3 状態のみのクリティック $\hat{V}^\pi(s)$ の代わりに履歴状態クリティック $\hat{V}^\pi(h,s)$ を使用することで、POMDPにおける学習バイアスが解消され、方策のパフォーマンスが向上するか？
• RQ4 提案手法は、収束速度と最終的な方策品質の点で、対称的 A2C およびバイアスを含む非対称ベースラインと比較してどのように差がつくか？
• RQ5 提案手法は、A2C を超える他のクリティックベースの深層強化学習アルゴリズムへ一般化可能か？

主な発見

• 状態ベースのクリティック $\hat{V}^\pi(s)$ は、複数の異なる履歴が同じ状態にマッピングされるため、POMDPでは根本的に定義が曖昧であり、価値推定の曖昧さと学習バイアスを引き起こす。
• 履歴 $h$ と状態 $s$ の両方に依存する A2C-asym-hs クリティックは、同じ状態であっても異なる履歴に対して異なる価値出力を生成し、適切な責任帰属が可能になる。
• Heaven-Hell-4 環境では、A2C-asym-hs クリティックが、かつて司祭に訪問したことがある状態に対して高い価値を割り当てており、情報収集行動の重要性を正しく示している。
• 実験的結果から、バイアスのない A2C-asym-hs 手法が、Memory-Four-Rooms-9x9 および Heaven-Hell-4 において、対称的 A2C およびバイアスを含む非対称ベースラインと比較して、収束が速く、最終的な報酬が高くなることが示された。
• A2C-asym-hs 手法は、実行間で一貫した価値推定を維持しているが、バイアスを含む A2C-asym-s クリティックは、同じ状態であっても異なる履歴に対して同一の値を出力するため、学習を損なう。
• 本手法は、部分的観測下でも方策勾配定理の正当性を保つ理論的根拠に基づいた、バイアスのない非対称アクタ・クリティックフレームワークを初めて提供した。

(b) Observation.