[論文レビュー] Unsupervised Domain Adaptation for Visual Navigation

Shangda Li, Devendra Singh Chaplot+4 more|arXiv (Cornell University)|Oct 27, 2020

Multimodal Machine Learning Applications参考文献 54被引用数 6

ひとこと要約

本稿では、実世界の画像をシミュレーション環境の視覚的分布に合わせて変換しつつ、ポリシーに関連する特徴を保持する、教師なしドメイン適応手法であるポリシーに基づく画像変換（PBIT）を提案する。この手法により、シミュレーションで学習した視覚的ナビゲーションポリシーを現実世界環境にゼロショットで転移させる性能が向上し、未学習の現実世界シーンで55.6%の成功を達成した。これは直接転移する手法と比較して22.3ポイント高い結果である。

ABSTRACT

Advances in visual navigation methods have led to intelligent embodied navigation agents capable of learning meaningful representations from raw RGB images and perform a wide variety of tasks involving structural and semantic reasoning. However, most learning-based navigation policies are trained and tested in simulation environments. In order for these policies to be practically useful, they need to be transferred to the real-world. In this paper, we propose an unsupervised domain adaptation method for visual navigation. Our method translates the images in the target domain to the source domain such that the translation is consistent with the representations learned by the navigation policy. The proposed method outperforms several baselines across two different navigation tasks in simulation. We further show that our method can be used to transfer the navigation policies learned in simulation to the real world.

研究の動機と目的

• シミュレーションから現実世界への一般化ギャップを解消するため、シミュレーションで学習したポリシーを現実世界環境に転移可能にする。
• ドメイン適応に必要なペア化された現実世界とシミュレーションのデータ収集にかかる高コストを克服する。
• ナビゲーションポリシーに必要なタスク関連特徴を保持する教師なし画像変換手法を開発する。
• ナビゲーションポリシーが学習した表現と整合性を持つ画像変換を実現し、単なる写真同等のリアルさを超えることを保証する。

提案手法

• 本手法は画像のコンテンツとスタイルを分離し、異なる視覚的スタイル間で一貫したドメイン不変表現を学習する。
• 翻訳された画像がソースドメインの画像と同一のナビゲーションポリシー行動を出力するように保証するため、ポリシー整合性損失を用いる。
• サイクル整合性のある画像変換ネットワークを訓練し、実世界の画像をソースドメイン（例：Gibsonシミュレーション）に変換するが、ナビゲーションに重要な構造的・意味的詳細を保持する。
• 画像変換の正確さとポリシー整合性の両方を最適化する訓練プロセスを採用し、ペア化されていない実世界の画像と事前学習済みナビゲーションポリシーのみを用いる。
• 本手法は、ドメイン間の正解画像ペアが不要な状態で、事前学習済みナビゲーションポリシーを用いて画像変換を監視する。
• 本手法は、シミュレーションからシミュレーション、およびシミュレーションから現実世界への転移について評価され、ドメイン間で一貫した性能を示した。

実験結果

リサーチクエスチョン

• RQ1 教師なし画像変換により、シミュレーションから現実世界環境への視覚的ナビゲーションポリシーの一般化性能が向上するか？
• RQ2 標準的な画像変換手法と比較して、ポリシー誘導型画像変換はナビゲーション関連特徴をどれほど効果的に保持できるか？
• RQ3 本手法は、微調整なしに未学習の現実世界環境でも強力なゼロショット転移性能を達成できるか？
• RQ4 写真同等のリアルさよりも、画像変換におけるポリシー整合性がナビゲーション成功にどれほど寄与するか？
• RQ5 本手法は、ポイントゴールナビゲーションやイメージゴールナビゲーションといった異なるナビゲーションタスクに一般化可能か？

主な発見

• 未学習の現実世界シーンにおいて、PBITはポイントゴールナビゲーションタスクで55.6%の成功率を達成し、直接転移ベースライン（33.3%）と比較して22.3ポイントの向上を示した。
• 実世界のテストシーン全体で平均して、PBITは最終的なゴールまでの距離を87.5%まで短縮した。ベースラインと比較すると、0.67m（PBIT）対3.16m（ベースライン）の差が生じた。
• 確認済み現実世界シーン（Corridors）では、PBITは9回の試行すべてで100%の成功を達成したが、直接転移ベースラインはわずか11.1%の成功にとどまった。
• 本手法は、シミュレーションからシミュレーション、およびシミュレーションから現実世界へのドメイン適応タスクの両方で、複数のベースラインを上回り、一貫した性能向上を示した。
• 定性的な結果から、PBITはテクスチャーや照明が著しく異なる現実世界のシーンからでも、床・壁の境界や障害物といったナビゲーションに重要な手がかりを保持していることが確認された。
• アブレーションスタディの結果、ポリシー整合性損失が不可欠であることが判明した。この損失がなければ、視覚的正確さが高くてもナビゲーション性能の向上は得られなかった。