[論文レビュー] On the Generalization of Representations in Reinforcement Learning

Charline Le Lan, Stephen Tu+3 more|arXiv (Cornell University)|Mar 1, 2022

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本論文は、状態表現の有効次元に依存する強化学習における一般化誤差の理論的上限を導入し、近似と一般化のトレードオフを定量化する。低い有効次元を持つ表現は一般化が良くなることを示し、古典的手法とAtari環境を用いて実証的に検証した。有効次元は性能と相関し、本上限に基づく補助損失はオフライン強化学習の性能を向上させる。

ABSTRACT

In reinforcement learning, state representations are used to tractably deal with large problem spaces. State representations serve both to approximate the value function with few parameters, but also to generalize to newly encountered states. Their features may be learned implicitly (as part of a neural network) or explicitly (for example, the successor representation of \citet{dayan1993improving}). While the approximation properties of representations are reasonably well-understood, a precise characterization of how and when these representations generalize is lacking. In this work, we address this gap and provide an informative bound on the generalization error arising from a specific state representation. This bound is based on the notion of effective dimension which measures the degree to which knowing the value at one state informs the value at other states. Our bound applies to any state representation and quantifies the natural tension between representations that generalize well and those that approximate well. We complement our theoretical results with an empirical survey of classic representation learning methods from the literature and results on the Arcade Learning Environment, and find that the generalization behaviour of learned representations is well-explained by their effective dimension.

研究の動機と目的

• 強化学習における状態表現の一般化の仕組みと時期を正確に特定する欠如を解消すること。
• 表現の近似品質と一般化能力の間のトレードオフを形式化すること。
• 表現の有効次元に依存する一般化誤差の理論的根拠に基づく上限を確立すること。
• 複数の強化学習手法と環境において、有効次元と一般化性能の関係を実証的に検証すること。
• 本上限を応用して、オフライン強化学習の性能を向上させる補助損失を設計し、実用的利点を示すこと。

提案手法

• 特徴行列Φの整合性に依存するモンテカルロ価値関数推定の一般化誤差上限を提案し、これにより表現の有効次元が定義される。
• 有効次元を、ある状態の価値が他の状態の価値にどの程度情報を与えるかを測る指標として定義し、k（最適）から|S|（一般化なし）の範囲をとる。
• 後続表現（SR）に本上限を適用し、SR行列の特異ベクトルに依存して一般化が決まることを示した。
• 有効次元の上限に基づく補助損失を導入し、深層強化学習における表現学習の正則化を実現した。
• DQN、Rainbow、IQN、M-IQNがAtariゲームで学習した表現の有効次元を、1500回のバッチ統計を用いて実証的に評価した。
• オフライン強化学習実験において、時間差学習と補助正則化をハイパーパrameter αでバランスさせる組み合わせ損失を用いた。

実験結果

リサーチクエスチョン

• RQ1 状態表現の有効次元は、強化学習における一般化能力にどのように影響するか？
• RQ2 提案された一般化誤差上限は、異なる表現において実証的性能をどれほど正確に予測できるか？
• RQ3 有効次元に基づく補助損失は、表現学習および下流の強化学習性能を向上させることができるか？
• RQ4 環境の遷移構造に応じて、後続表現の一般化行動はどのように変化するか？
• RQ5 深層強化学習エージェントにおいて、有効次元、ランク、および実証的性能の関係は何か？

主な発見

• 表現の有効次元は一般化性能の強力な予測要因であり、低い値はより良い一般化を示す。
• 四部屋領域では、有効次元が低い表現が一般化が良くなることが示され、特に遷移ダイナミクスが変化する条件下でも顕著だった。
• アーケード学習環境（Atari）において、DQN、Rainbow、IQN、M-IQNエージェントの間で、有効次元と実証的性能の相関が確認された。
• 有効次元の上限に基づく補助損失は、オフライン強化学習設定で性能向上を示し、α=0.1が最適な向上をもたらした。
• 近似誤差の代理として用いられる表現のランクは、学習プロセスと相関し、一般化を捉える有効次元とは明確に異なる。