[論文レビュー] Generalized Value Iteration Networks: Life Beyond Lattices

Sufeng Niu, Siheng Chen+4 more|arXiv (Cornell University)|Jun 8, 2017

Domain Adaptation and Few-Shot Learning被引用数 22

ひとこと要約

本稿では、新しいグラフ畳み込み演算子とエピソード型Q学習を用いて、不規則な空間グラフに一般化された価値反復ネットワーク（VIN）を拡張する、エンドツーエンド微分可能な計画モジュールである一般化価値反復ネットワーク（GVIN）を提案する。GVINは未観測のグラフに一般化可能であり、画像離散化を用いたVINよりも不規則構造で優れた性能を示し、ミニネソタやニューヨーク市といった大規模な実世界の道路網でも100%の成功を達成する。

ABSTRACT

In this paper, we introduce a generalized value iteration network (GVIN), which is an end-to-end neural network planning module. GVIN emulates the value iteration algorithm by using a novel graph convolution operator, which enables GVIN to learn and plan on irregular spatial graphs. We propose three novel differentiable kernels as graph convolution operators and show that the embedding based kernel achieves the best performance. We further propose episodic Q-learning, an improvement upon traditional n-step Q-learning that stabilizes training for networks that contain a planning module. Lastly, we evaluate GVIN on planning problems in 2D mazes, irregular graphs, and real-world street networks, showing that GVIN generalizes well for both arbitrary graphs and unseen graphs of larger scale and outperforms a naive generalization of VIN (discretizing a spatial graph into a 2D image).

研究の動機と目的

• 任意の未観測の不規則な空間グラフ上で最適経路を計画できる深層強化学習エージェントを実現すること。
• 従来の価値反復ネットワーク（VIN）が2次元格子に限定されており、不規則なトポロジーに一般化できないという制限を克服すること。
• 空間グラフ内の方向性、距離、エッジ重みの関係を捉えることができる微分可能なグラフ畳み込み演算子を開発すること。
• エピソード型Q学習を導入することで、不規則なグラフ上での学習を安定化させ、標準的な深層Q学習よりも性能を向上させること。

提案手法

• 2次元畳み込みを不規則なグラフに拡張する一般化されたグラフ畳み込み演算子を提案し、方向性、距離、エッジ重みをモデル化する。
• 空間的、方向的、埋め込みベースの3種類の微分可能カーネルを導入し、そのうち埋め込みベースのカーネルが最も優れた性能を示す。
• エピソード型Q学習を設計し、全エピソードにわたるモンテカルロ制御を用いることで、学習の安定性を向上させるnステップQ学習の変種を実現する。
• 教師強化学習のラベルを一切使用せず、強化学習によるエンドツーエンド学習により、自己教師ありポリシー学習を可能にする。
• K=200ステップの再帰メカニズムを用い、グラフノード間での価値反復をシミュレートし、メッセージパッシングにより価値関数を学習する。
• ノード埋め込みとビンサンプリングを活用し、不規則なグラフにおける一般化性能と空間的関係の捉えを向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層学習計画者（プランナー）は、道路網や合成的な不規則な迷路のような未観測の不規則グラフに一般化可能か？
• RQ2 不規則なグラフを2次元画像に離散化する単純なVINアプローチと比較して、GVINの性能はどのように異なるか？
• RQ3 エピソード型Q学習は、標準的な深層Q学習と比較して、不規則なグラフ計画タスクにおける学習の安定性と性能を向上させるか？
• RQ4 10ノードのグラフで学習したGVINが、100ノードのグラフにどの程度一般化可能か？
• RQ5 エッジ重みやグラフ構造は、GVINの一般化性能および計画精度にどのように影響を与えるか？

主な発見

• GVINは、ミネソタ州高速道路網（2,642ノード）およびニューヨーク市ストリートマップ（5,069ノード）の両方で、ゴール位置に到達する成功率が100%に達し、強力なスケール一般化性能を示した。
• エピソード型Q学習を用いて10ノードのグラフで学習したGVINは、100ノードのグラフに98.5%の成功率、期待報酬0.92で一般化可能であり、すべての模倣学習ベースラインを上回った。
• 埋め込みベースのグラフ畳み込みカーネルが空間的および方向的カーネルを上回り、不規則なグラフ計画において最高の正確性と成功率を達成した。
• エピソード型Q学習は学習の安定性と性能を顕著に向上させ、高い期待報酬と成功率を達成したが、標準的な深層Q学習では収束に失敗した。
• エッジ重みを入力に含めたGVINは強化学習でわずかな性能向上を示したが、模倣学習ではエッジ重みが著しく性能を低下させ、分布シフトの問題を示した。
• 特に不規則なグラフにおいては、画像離散化を用いたVINよりもGVINが優れた一般化性能を示し、成功確率および期待報酬の両面で顕著に優位であった。