[論文レビュー] Temporal Abstraction in Reinforcement Learning with the Successor Representation

Marlos C. Machado, André Sales Barreto+2 more|arXiv (Cornell University)|Oct 12, 2021

Reinforcement Learning in Robotics被引用数 11

ひとこと要約

本論文は、強化学習における時間的に抽象化されたオプションを発見するための基盤フレームワークとして、後続表現（Successor Representation, SR）を提案する。これにより、探索と計画の両方を効率的に行える。SRが示す状態遷移パターンを活用することで、学習の自己強化的サイクルが形成され、追加の学習を伴わずに組み合わせ的オプション構成が可能になる。

ABSTRACT

Reasoning at multiple levels of temporal abstraction is one of the key attributes of intelligence. In reinforcement learning, this is often modeled through temporally extended courses of actions called options. Options allow agents to make predictions and to operate at different levels of abstraction within an environment. Nevertheless, approaches based on the options framework often start with the assumption that a reasonable set of options is known beforehand. When this is not the case, there are no definitive answers for which options one should consider. In this paper, we argue that the successor representation (SR), which encodes states based on the pattern of state visitation that follows them, can be seen as a natural substrate for the discovery and use of temporal abstractions. To support our claim, we take a big picture view of recent results, showing how the SR can be used to discover options that facilitate either temporally-extended exploration or planning. We cast these results as instantiations of a general framework for option discovery in which the agent's representation is used to identify useful options, which are then used to further improve its representation. This results in a virtuous, never-ending, cycle in which both the representation and the options are constantly refined based on each other. Beyond option discovery itself, we also discuss how the SR allows us to augment a set of options into a combinatorially large counterpart without additional learning. This is achieved through the combination of previously learned options. Our empirical evaluation focuses on options discovered for exploration and on the use of the SR to combine them. The results of our experiments shed light on important design decisions involved in the definition of options and demonstrate the synergy of different methods based on the SR, such as eigenoptions and the option keyboard.

研究の動機と目的

• 事前に定義されたオプションが利用不可または非効率な場合に生じる、強化学習におけるオプション発見の未解決問題に取り組む。
• エージェントの内部表現、特に後続表現（SR）を用いて、意味のある時間的に拡張されたオプションを自動的に発見する汎用フレームワークを開発する。
• より良いオプションが表現を改善し、より良い表現がより効果的なオプションの発見を可能にする自己改善ループを実現する。
• SRを用いてオプションキーボードフレームワークを活用し、追加の学習を伴わずに既存のオプションを組み合わせて、組み合わせ的に大きなオプション集合を構成可能にする。
• スパarsityや非定常な報酬が問題となる環境、例えば継続的・マルチタスク学習において、SRに基づくオプション発見の実証的妥当性を提供する。

提案手法

• 各状態から予想される将来の状態訪問パターンを符号化する後続表現（SR）を用い、構造的に意味のある時間的抽象化を同定する。
• SR行列の固有値分解を適用し、環境の内在的幾何構造に基づく「固有オプション」に相当する固有ベクトルを抽出する。
• SRを用いて、状態が良好に接続されており、効率的な状態カバレッジのハブとして機能する状態を同定することで、カバレッジオプションを計算する。
• SRを相互作用データから段階的に推定するオンラインで非政策学習のスキームを実装し、進化するSR行列からオプションを発見する。
• オプションキーボードフレームワークを活用し、SRを介して既存のオプションを組み合わせて新たなオプションを生成し、再学習を伴わずに行動レパートアを組み合わせ的に拡張可能にする。
• 固有値分解の前にSR行列の非対称性を補正するため、(Ψ + Ψᵀ)/2 により対称化することで、安定した実数固有ベクトルの取得を保証する。

実験結果

リサーチクエスチョン

• RQ1 後続表現（SR）は、環境に関する事前知識なしに、時間的に抽象化されたオプションを自然に発見する基盤として機能できるか？
• RQ2 SRに基づくオプション発見フレームワークは、固有オプションやカバレッジオプションといった従来手法と比較して、探索と計画の効率性においてどのように差をつけるか？
• RQ3 SRを用いて、追加の学習を伴わず、小さな初期オプション集合から大きなオプション集合を自動的に組み合わせ的に拡張できるか、その範囲はどの程度か？
• RQ4 オプション発見における設計選択（例：行列の選定、固有ベクトル選択、方策学習手法）が、報酬がスパarsityな環境における性能に顕著に影響を与えるか？
• RQ5 表現とオプションの間の反復的改善ループが、オプション品質と表現精度の両方において持続的な向上をもたらすか？

主な発見

• 後続表現（SR）は、報酬がスパarsityなグリッドワールド環境において、時間的に拡張された探索と計画の質を顕著に向上させることを実証した。
• SRを用いて発見された固有オプションおよびカバレッジオプションは、報酬最大化タスクにおいて収束速度が速く、四部屋ドメインにおける50回の独立実験で一貫した性能向上が観察された。
• オプションキーボードフレームワークにより、初期オプション集合が小さくても、SRを介した既存オプションの組み合わせにより、追加の学習なしに組み合わせ的に大きなオプション集合を生成可能である。
• 実証的結果から、カバレッジオプション発見にSRを用いる場合とグラフラプラシアンを用いる場合の性能差は限定的であり、非対称性に起因する複雑な成分を示す固有ベクトルであっても、差は小さいことが判明した。
• 表現の精錬とオプション発見の反復的サイクルにより、自己改善ループが形成される：より良いオプションがより良いSR推定をもたらし、それによってより良いオプションが得られる。
• オンライン学習設定において、SRに基づくオプション発見プロセスは時間とともに収束し、固有オプションおよびカバレッジオプションが環境の構造的特性（例：対角線遷移や境界遷移）に徐々に適合するようになった。