[論文レビュー] Semantic Visual Navigation by Watching YouTube Videos

Matthew Chang, Arjun Gupta+1 more|arXiv (Cornell University)|Jun 17, 2020

Multimodal Machine Learning Applications参考文献 62被引用数 23

ひとこと要約

本稿では、人間によるアクションやゴールのアノテーションが不要な状態で、非構造的なYouTube動画を活用して意味的視覚ナビゲーション方策を学習する、Value Learning from Videos (VLV) の手法を提案する。逆ダイナミクスを用いてアクションを擬似ラベル化し、Q学習を動画遷移四重組（画像、アクション、次画像、報酬）に適用することで、空間的規則性を符号化する価値関数を学習する。このアプローチにより、エンドツーエンドRLおよびアノテーション学習手法よりも15–83%の相対的性能向上を達成し、実世界での相互作用を最小限に抑えられる。

ABSTRACT

Semantic cues and statistical regularities in real-world environment layouts can improve efficiency for navigation in novel environments. This paper learns and leverages such semantic cues for navigating to objects of interest in novel environments, by simply watching YouTube videos. This is challenging because YouTube videos don't come with labels for actions or goals, and may not even showcase optimal behavior. Our method tackles these challenges through the use of Q-learning on pseudo-labeled transition quadruples (image, action, next image, reward). We show that such off-policy Q-learning from passive data is able to learn meaningful semantic cues for navigation. These cues, when used in a hierarchical navigation policy, lead to improved efficiency at the ObjectGoal task in visually realistic simulations. We observe a relative improvement of 15-83% over end-to-end RL, behavior cloning, and classical methods, while using minimal direct interaction.

研究の動機と目的

• 人間によるアクションやゴールのアノテーションが一切不要な状態で、未確認の環境においてゼロショットで意味的視覚ナビゲーションを可能にすること。
• アクションラベル、ゴールアノテーション、最適な経路が欠落した動画からの学習の課題を克服すること。
• エゴセントリックな動画シーケンスにおける視覚的共起パターンを活用して、インテリアレイアウト内の空間的規則性といった意味的特徴を学習すること。
• インターネット規模の動画データから価値関数を事前学習することで、視覚ナビゲーションにおけるサンプル効率と一般化性能を向上させること。
• オフポリシーQ学習を擬似ラベル化された動画データに適用することで、エンドツーエンド強化学習や行動クラーニングを上回るナビゲーション方策を生成できることを実証すること。

提案手法

• 40K件の実世界相互作用サンプルを用いて訓練された逆ダイナミクスモデルにより、連続する動画フレームからアクションの擬似ラベルを生成する。
• 目的物（例：トイレ、ベッド）の存在を分類するための市販のオブジェクト検出器を用いて、ゴールラベルを取得する。
• 報酬が次フレームにおけるオブジェクト検出の有無に基づく二値報酬である、遷移四重組（画像、アクション、次画像、報酬）にQ学習フレームワークを適用する。
• 得られたQ値を用いて、意味的特徴（例：目標物が見えない状態でも、その方向に高い値を示す）を暗黙的に符号化する価値関数を構築する。
• 学習済みの価値関数を用いて、新しい環境における意味的ゴールへ向かって低レベルの移動制御を誘導する階層的ナビゲーション方策を採用する。
• オブジェクトゴールベンチマークを用いた視覚的にリアルなシミュレーション環境で評価を行い、ノイズやデータモダリティに対するロバストネスをアブレーションで評価する。

実験結果

リサーチクエスチョン

• RQ1 意味的視覚ナビゲーション方策は、アクションやゴールのアノテーションが一切ない非構造的なYouTube動画から、有効に事前学習可能か？
• RQ2 擬似ラベル化された動画遷移にQ学習を適用することで、ナビゲーション効率を向上させる意味的な空間的規則性をどれほど学習できるか？
• RQ3 YouTube動画から学習した価値関数は、エンドツーエンド強化学習および行動クラーニングと比較して、未確認環境へのゼロショット一般化においてどの程度優れた性能を示すか？
• RQ4 データモダリティ（合成データ対YouTube動画）および経路のノイズが、方策の一般化性能および成功確率に与える影響は何か？
• RQ5 受動的な動画データから学習した価値関数は、物体の接近度や空間的レイアウトパターンといった意味的特徴を暗黙的に符号化できるか？

主な発見

• 提案手法VLVは、ObjectGoalベンチマークにおいてエンドツーエンド強化学習および行動クラーニングよりも15–83%の相対的成績向上を達成した。
• YouTube動画で学習した場合、全体のObjectGoalタスクでSPLが0.40 ± 0.06を達成し、行動クラーニング（SPL: 0.30 ± 0.05）を上回り、強力な教師ありベースラインと同等の性能を示した。
• YouTube動画から学習した価値関数は、新しい環境へも効果的に一般化され、図S4.4に示すように、目標物から距離が増すに従い高値領域が滑らかに減少する。
• アブレーションスタディの結果、真のアクションラベルや真値のオブジェクト検出を使用すると性能がわずかに向上するが、本手法はノイズの多い動画データに対してもロバストであることが示された。
• Q学習ベースの価値関数は、TD(0)やモンテカルロ法による方策評価を上回り、分岐する環境では他の手法が失敗する中で、最適経路を正しく特定した（図S8）。
• 360°パノラマ動画で学習すると性能が向上（全体SPL: 0.47 ± 0.02）し、より豊かな視覚的文脈が価値関数学習を向上させることを示唆した。