[論文レビュー] Target-driven Visual Navigation in Indoor Scenes using Deep Reinforcement Learning

Yuke Zhu, Roozbeh Mottaghi+5 more|arXiv (Cornell University)|Sep 16, 2016

Reinforcement Learning in Robotics参考文献 52被引用数 163

ひとこと要約

本論文は、Siameseアクター-クリティックアーキテクチャとAI2-THORシミュレーションフレームワークを用いたターゲット駆動型深層強化学習モデルを提案し、ターゲットとシーン全体への generalization を実現し、データ効率と sim-to-real 転送を向上させる。

ABSTRACT

Two less addressed issues of deep reinforcement learning are (1) lack of generalization capability to new target goals, and (2) data inefficiency i.e., the model requires several (and often costly) episodes of trial and error to converge, which makes it impractical to be applied to real-world scenarios. In this paper, we address these two issues and apply our model to the task of target-driven visual navigation. To address the first issue, we propose an actor-critic model whose policy is a function of the goal as well as the current state, which allows to better generalize. To address the second issue, we propose AI2-THOR framework, which provides an environment with high-quality 3D scenes and physics engine. Our framework enables agents to take actions and interact with objects. Hence, we can collect a huge number of training samples efficiently. We show that our proposed method (1) converges faster than the state-of-the-art deep reinforcement learning methods, (2) generalizes across targets and across scenes, (3) generalizes to a real robot scenario with a small amount of fine-tuning (although the model is trained in simulation), (4) is end-to-end trainable and does not need feature engineering, feature matching between frames or 3D reconstruction of the environment. The supplementary video can be accessed at the following link: https://youtu.be/SmBxMDiOrvs.

研究の動機と目的

• 視覚ナビゲーションの深層強化学習における一般化のギャップを、方策入力にターゲットを組み込むことで解消する。
• スケーラブルなデータ収集と現実的な屋内相互作用を可能にする高品質なシミュレーション環境（AI2-THOR）を開発する。
• 再訓練せずにターゲット間で一般化するターゲット駆動方策を提案する。
• 特徴量エンジニアリングや明示的な3D再構成なしで、エンドツーエンドの訓練可能性を示す。
• 新しいターゲット、未知のシーン、連続空間、実ロボット転送への一般化を評価する。

提案手法

• 現在の観測とターゲット画像を並列に処理し、重みを共有する深いSiameseアクター-クリティックネットワークを提案し、方策と価値出力の結合埋め込みを生成する。
• シーン固有の最終層を用いてレイアウトに特有のナビゲーション手掛かりを捉えつつ、ターゲットとシーン間で一般的なSiamese層を共有する。
• 動的特性をモデル化するためにGaussianノイズを用いて前進/後退、左折/右折を離散化する。
• ImageNetプリトレーニング済みのResNet-50バックボーンを特徴抽出器として固定し、履歴4フレームを入力として積み上げ、埋め込みを512次元空間へ射影する。
• 各スレッドが異なるナビゲーション目標をターゲットとするA3C風の非同期プロトコルで訓練し、シーン固有と一般層を適宜更新する。
• 報酬設計は、短い軌跡を促すスパースなゴール到達報酬(10.0)を伴う小さな時間ペナルティ(-0.01)を含む。

実験結果

リサーチクエスチョン

• RQ1 同じシーン内で未 seen targets に対してターゲット駆動方策は一般化できるか？
• RQ2 learned representation を再利用しつつ、未知のシーンのターゲットに一般化できるか？
• RQ3 ターゲット間で情報を共有することは、従来のDRLベースラインと比較してデータ効率を改善するか？
• RQ4 連続空間と実ロボットのシナリオへの、微調整を限られた範囲で行い移行可能か？

主な発見

タイプ	方法	平均軌跡長さ
ヒューリスティック	ランダムウォーク	2744.3
ヒューリスティック	最短経路	17.6
専用設計RL	ワンステップQ	2539.2
専用設計RL	A3C (1スレッド)	1241.3
専用設計RL	A3C (4スレッド)	723.5
ターゲット駆動RL	単一ブランチ	581.6
ターゲット駆動RL	最終版(私たちの)	210.7

• 最終のターゲット駆動モデルは、A3C系変種や単一ブランチターゲットモデルを含むベースラインよりも平均軌跡が著しく短い（210.7ステップ）。
• データ効率が向上し、最終モデルは訓練フレーム数1億フレーム後に最先端のDRL手法を上回る。
• 共有されたSiamese層とシーン固有の層のおかげで、未知のターゲット内と未知のシーンの一般化が可能。
• t-SNEの視覚化は埋め込み空間が空間的配置を保持しており、暗黙的な局所化/マッピングを示唆する。
• 連続空間タスクでは、モデルはドア/ターゲットへRandom行動よりもはるかに少ないステップで到達するが、訓練フレームは多め。
• ロボット実験では、少量の微調整でsim-to-real転送が成功し、学習済みの一般層を転送することで収束を加速する。