[論文レビュー] Deep Reinforcement Learning with Graph-based State Representations.

Vikram Waradpande, Daniel Kudenko⋆+1 more|arXiv (Cornell University)|Apr 29, 2020

Reinforcement Learning in Robotics参考文献 4被引用数 8

ひとこと要約

この論文は、グリッドワールドナビゲーションタスクにおけるサンプル効率性とパフォーマンスの向上を目的として、深層強化学習におけるグラフベースの状態表現の使用を提案する。マルコフ決定過程（MDP）の下位グラフ構造上で、特にランダムウォークに基づく手法を用いたノード表現学習法を活用することで、著者らは、標準的な行列表現を常に上回る埋め込み表現が得られることを示している。また、単純な手法が複雑なグラフ畳み込みネットワーク（GCN）を上回ることも示している。

ABSTRACT

Deep RL approaches build much of their success on the ability of the deep neural network to generate useful internal representations. Nevertheless, they suffer from a high sample-complexity and starting with a good input representation can have a significant impact on the performance. In this paper, we exploit the fact that the underlying Markov decision process (MDP) represents a graph, which enables us to incorporate the topological information for effective state representation learning. Motivated by the recent success of node representations for several graph analytical tasks we specifically investigate the capability of node representation learning methods to effectively encode the topology of the underlying MDP in Deep RL. To this end we perform a comparative analysis of several models chosen from 4 different classes of representation learning algorithms for policy learning in grid-world navigation tasks, which are representative of a large class of RL problems. We find that all embedding methods outperform the commonly used matrix representation of grid-world environments in all of the studied cases. Moreoever, graph convolution based methods are outperformed by simpler random walk based methods and graph linear autoencoders.

研究の動機と目的

• グラフベースの状態表現が、深層強化学習におけるサンプル効率性と学習パフォーマンスを向上させられるかどうかを調査すること。
• 下位のマルコフ決定過程（MDP）のトポロジーに対して、異なるノード表現学習手法の有効性を評価すること。
• グリッドワールドナビゲーション環境におけるグラフ畳み込みネットワーク（GCN）、ランダムウォーク手法、グラフオートエンコーダーの比較を行うこと。
• MDPのトポロジカル構造を組み込むことで、標準的な行列表現よりも優れたポリシー学習が達成できるかどうかを検証すること。

提案手法

• 著者らは、グリッドワールド環境をグラフとしてモデル化し、状態をノード、遷移をエッジとして扱い、下位のMDPグラフを構築する。
• ノード表現学習アルゴリズムの4つのクラスを適用する：グラフ畳み込みネットワーク（GCN）、ランダムウォークに基づく手法（例：node2vec）、グラフオートエンコーダー、線形オートエンコーダー。
• これらの手法を用いて状態表現を学習し、それを深層Qネットワーク（DQN）の入力としてポリシー学習に用いる。
• 各表現手法のパフォーマンスを、同一の訓練条件下で標準的なグリッドワールドナビゲーションタスクで評価する。
• 学習された埋め込み表現を、グリッドワールド状態空間の標準的なワンホット表現または密度行列表現と比較する。
• 実験では、各表現手法間の公平な比較を確保するため、標準的な深層強化学習の訓練プロトコルを用いる。

実験結果

リサーチクエスチョン

• RQ1 グラフベースの状態表現は、深層強化学習におけるサンプル効率性とパフォーマンスを向上させられるか？
• RQ2 MDPのトポロジーを符号化する際、グラフ畳み込みネットワーク（GCN）は単純なランダムウォークベースの手法を上回るのか？
• RQ3 グラフオートエンコーダーは、グリッドワールドナビゲーションタスクにおいて他の表現学習手法と比較してどうなるか？
• RQ4 MDPグラフのトポロジカル情報を組み込むことで、標準的な行列表現と比較して顕著なパフォーマンス向上が得られるか？
• RQ5 構造的環境における強化学習のための、最もロバストで効果的な状態符号化を提供するのはどのクラスの表現学習手法か？

主な発見

• 評価されたすべてのグリッドワールドナビゲーションタスクにおいて、グラフベースのノード表現学習手法が標準的な行列表現を上回った。
• ランダムウォークベースの手法（例：node2vec）は、グラフ畳み込みネットワーク（GCN）を上回る優れたパフォーマンスを達成した。
• グラフ線形オートエンコーダーは、競争力はあったが、一般的にはランダムウォークベースの手法に劣ったパフォーマンスを示した。
• MDPにおけるトポロジカル構造の活用は、学習効率と最終的なポリシーのパフォーマンスを顕著に向上させた。
• この設定では、複雑なグラフニューラルネットワークよりも単純な表現学習手法がより効果的であった。これは、GCNの優位性に関する仮定に疑問を呈するものである。