[論文レビュー] Plan2Vec: Unsupervised Representation Learning by Latent Plans

Ge Yang, Amy Zhang+4 more|arXiv (Cornell University)|May 7, 2020

Domain Adaptation and Few-Shot Learning参考文献 52被引用数 6

ひとこと要約

Plan2Vecは、局所的に構築されたグラフ上で潜在的な計画を用いることで、画像データからグローバルなメトリクス埋め込みを抽出する自己教師あり表現学習手法を提案する。近隣探索グラフ上でヒューリスティックサーチを用いて価値のターゲットを生成することで、環境との相互作用なしにゴール条件付きで長時間にわたる距離メトリクスを学習し、ナビゲーションや変形可能なオブジェクトの操作を含むシミュレーテッドおよびリアルワールドのビジョンタスクで最先端の性能を達成した。

ABSTRACT

In this paper we introduce plan2vec, an unsupervised representation learning approach that is inspired by reinforcement learning. Plan2vec constructs a weighted graph on an image dataset using near-neighbor distances, and then extrapolates this local metric to a global embedding by distilling path-integral over planned path. When applied to control, plan2vec offers a way to learn goal-conditioned value estimates that are accurate over long horizons that is both compute and sample efficient. We demonstrate the effectiveness of plan2vec on one simulated and two challenging real-world image datasets. Experimental results show that plan2vec successfully amortizes the planning cost, enabling reactive planning that is linear in memory and computation complexity rather than exhaustive over the entire state space.

研究の動機と目的

• 強化学習の環境相互作用を一切行わず、オフラインの画像データから構造的でメトリクスに基づく表現を学習すること。
• 学習されたグローバル埋め込みを通じて計画コストをアモアタイズすることで、効率的で反応性の高い計画を可能にすること。
• 局所的な画像類似度から経路積分を用いた蒸留によって、一般化可能なグローバルメトリクスを構築すること。
• Street Learn やロープ操作などの挑戦的なリアルワールドビジョンデータセットにおいてその有効性を示すこと。
• グラフが幾何的ではなくトポロジカルである場合でさえも、解釈可能なメトリクスに類似した表現を学習できること。

提案手法

• 局所的なメトリクス d(xi, xj) を学習して用いることで、画像データから重み付きで方向性を持つグラフを構築する。
• グラフ上でヒューリスティックサーチ（例：A*）を用いて最適な長時間にわたる経路を生成し、経路積分値をターゲット信号として計算する。
• グラフの探索結果から最短経路距離に回帰するように、グローバルメトリクスネットワーク Dφ(o, og) = ||φ(o) - φ(og)||p を学習する。
• 2つのバリエーションを採用：1つは計画された経路への回帰、もう1つは適合価値反復による価値関数学習。
• シアンセイまたはResNetベースのエンコーダーを用いて、観測値を距離が意味的またはナビゲーション的類似度を反映する潜在空間に埋め込む。
• 半教師あり学習の原則を活用し、実際の遷移をラベル付きデータとし、グラフ構造が一般化のためのインダクティブバイアスを提供する。

実験結果

リサーチクエスチョン

• RQ1 環境との相互作用なしに、オフラインの画像データからグローバルでゴール条件付きのメトリクスを学習できるか？
• RQ2 局所的に構築されたグラフ上で潜在的計画を用いることで、純粋に局所的なメトリクスよりも正確で一般化性の高い表現が得られるか？
• RQ3 ヒューリスティックサーチから得た経路積分ターゲットを用いることで、長時間ナビゲーション計画の効率性と正確性が向上するか？
• RQ4 学習された表現によって、全状態空間を全走査するのではなく、線形時間計算量とメモリ量の反応性の高い計画が可能になるか？
• RQ5 グラフが幾何的に正確ではなくトポロジカルである場合でさえも、解釈可能なメトリクスマップが表現に含まれるか？

主な発見

• 1ステップの近隣予測において、オープンドメインで98.6% ± 0.7のテスト精度を達成し、局所的メトリクスの一般化能が優れていることを示した。
• ロープ操作データセットでは、96.6% ± 0.9の訓練精度と92.4% ± 1.5のテスト精度を達成し、困難なリアルワールドの視覚的制御タスクへの有効性を示した。
• Street Learnデータセットでは、99.2% ± 0.5の訓練精度を達成し、GPSデータなしで生のStreet View画像からナビゲート可能で解釈可能なメトリクスマップを学習した。
• 線形のメモリと計算量を伴う反応性の高い計画が可能となり、全状態空間の全走査を回避した。
• グラフがトポロジカルであるにもかかわらず、学習された表現はナビゲーション距離と整合的なメトリクス構造を捉えていた。
• 特にグラフ探索をサンプリングポリシーとして用いた場合、kステップ先読み計画の成功確率においてベースライン手法を上回った。