[論文レビュー] The Laplacian in RL: Learning Representations with Efficient Approximations

Yifan Wu, George Tucker+1 more|arXiv (Cornell University)|Oct 10, 2018

Reinforcement Learning in Robotics参考文献 15被引用数 7

ひとこと要約

本論文は、確率的ミニバッチ更新により最適化されるスペクトル的グラフドローイング目的関数を用いて、スケーラブルでモデルフリーな強化学習におけるラプラシアンに基づく状態表現の学習のための手法を提案する。この手法は、特に非テーブル設定においてラプラシアン固有ベクトルの近似を従来手法を上回り、学習済み報酬形状化を通じてサンプル効率を向上させることを示している。

ABSTRACT

The smallest eigenvectors of the graph Laplacian are well-known to provide a succinct representation of the geometry of a weighted graph. In reinforcement learning (RL), where the weighted graph may be interpreted as the state transition process induced by a behavior policy acting on the environment, approximating the eigenvectors of the Laplacian provides a promising approach to state representation learning. However, existing methods for performing this approximation are ill-suited in general RL settings for two main reasons: First, they are computationally expensive, often requiring operations on large matrices. Second, these methods lack adequate justification beyond simple, tabular, finite-state settings. In this paper, we present a fully general and scalable method for approximating the eigenvectors of the Laplacian in a model-free RL context. We systematically evaluate our approach and empirically show that it generalizes beyond the tabular, finite-state setting. Even in tabular, finite-state settings, its ability to approximate the eigenvectors outperforms previous proposals. Finally, we show the potential benefits of using a Laplacian representation learned using our method in goal-achieving RL tasks, providing evidence that our technique can be used to significantly improve the performance of an RL agent.

研究の動機と目的

• モデルフリー強化学習における既存のラプラシアン固有ベクトル近似手法の計算的に非実行可能であることと、一般化能力の制限を解決すること。
• 行動方策下での状態遷移の真の幾何的構造を反映する、効率的でスケーラブルな状態表現の学習を可能にすること。
• 表計算や有限状態環境にとどまらない、理論的に裏付けられた汎用手法を提供すること。
• 学習済みラプラシアン表現の有用性を実験的に検証し、報酬形状化による方策学習の改善を示すこと。
• ラプラシアンに基づく表現が、離散グリッドワールドおよび連続的制御環境の両方で学習を加速できることを示すこと。

提案手法

• 状態表現学習を、グラフラプラシアンの最小固有ベクトルをもたらすグローバル最適解を持つスペクトル的グラフドローイング目的関数の最適化として定式化する。
• 関数近似を用いて埋め込みネットワークをパラメータ化し、サンプルされた状態遷移のミニバッチ上で確率的勾配降下法を用いたエンドツーエンドの学習を可能にする。
• 目的関数はレイリー商から導出され、行列の固有値分解を完全に必要とせずにラプラシアン固有ベクトルを近似する。
• アプローチは完全にモデルフリーであり、経験リプレイデータ上で直接動作するため、オンラインおよび確率的強化学習設定に適している。
• この手法は、グリッドワールドにおける障害物や接続性を含む状態空間の内在的幾何を表現する表現を学習する。
• 学習済み埋め込み空間におけるL2距離を計算することで報酬形状化を可能にし、これは生の座標やスパarsな報酬よりも到達可能性をよりよく反映する。

実験結果

リサーチクエスチョン

• RQ1 計算的に非実行可能な行列演算を必要とせず、モデルフリー強化学習においてグラフラプラシアンの最小固有ベクトルをスケーラブルで汎用的な手法で近似できるか？
• RQ2 提案手法は、連続的または高次元状態空間のようなテーブルや有限状態の設定を超えて一般化可能か？
• RQ3 この手法で学習されたラプラシアンに基づく表現は、ゴール到達タスクにおけるサンプル効率を向上させられるか？
• RQ4 学習済みラプラシアン埋め込みに基づく報酬形状化の性能は、スパース報酬や生の座標におけるL2距離と比較してどうか？
• RQ5 状態空間とゴール空間が直接一致しない連続的制御環境において、この手法はロバストで効果的か？

主な発見

• 提案手法は、特に構造が乏しい特徴を有する非テーブル設定において、従来手法よりも優れたラプラシアン固有ベクトルの近似を達成している。
• TwoRooms や HardMaze といったグリッドワールド環境では、学習済みラプラシアン表現が環境のダイナミクスを正確に反映する報酬形状を生成し、誤った局所最適解を回避している。
• DQNで訓練されたエージェントにおいて、学習が著しく加速されており、「mix」バリアント（学習済みL2距離とスパース報酬の混合）が、TwoRooms および HardMaze ですべてのベースラインを上回っている。
• DDPGを用いた連続的制御タスクでは、「mix」と「fullmix」バリアント（ゴールまたは全状態空間の埋め込みを用いる）が、すべてのベースラインを上回る優れた性能を示している。
• 複雑なダイナミクスと障害物を有する環境において、最適方策への収束が著しく速くなる。
• 状態空間とゴール空間が直接一致しない場合でも、この手法は有効であり、表現の不一致に対してロバストであることが示唆される。