[論文レビュー] Learning Transferable Policies for Monocular Reactive MAV Control

Shreyansh Daftry, J. Andrew Bagnell+1 more|arXiv (Cornell University)|Aug 1, 2016

Domain Adaptation and Few-Shot Learning参考文献 16被引用数 28

ひとこと要約

本論文では、シミュレーションまたはソースドメインのデータから、新しい環境におけるリアルワールドの単眼マルチコプター（MAV）飛行へ反応型フライトポリシーを転送するためのドメイン適応フレームワークを提案する。特徴空間におけるドメイン差を最小限に抑えることで、本手法は、密度の高い森を高速で自律航行可能にし、実世界のテストで90%以上の正確性と1900回以上の障害物回避を達成した。非適応ポリシーに比べて顕著に優れた性能を示した。

ABSTRACT

The ability to transfer knowledge gained in previous tasks into new contexts is one of the most important mechanisms of human learning. Despite this, adapting autonomous behavior to be reused in partially similar settings is still an open problem in current robotics research. In this paper, we take a small step in this direction and propose a generic framework for learning transferable motion policies. Our goal is to solve a learning problem in a target domain by utilizing the training data in a different but related source domain. We present this in the context of an autonomous MAV flight using monocular reactive control, and demonstrate the efficacy of our proposed approach through extensive real-world flight experiments in outdoor cluttered environments.

研究の動機と目的

• ソースドメイン（例：シミュレーションや異なる環境）から得た自律フライトポリシーを、再訓練を伴わずに新しいリアルワールドのターゲットドメインに効果的に転送する課題に対処すること。
• 障害回避などの危険なタスクにおいて失敗が致命的であるため、高コストなリアルワールドデータ収集に依存するのを減らすこと。
• センサの品質、動的特性、天候、環境の違いに起因するドメインシフトに対して、ポリシーの一般化性能を向上させること。
• 広範な屋外実験を用いて、ドメイン適応の有効性を実世界のMAV飛行において検証すること。

提案手法

• 人間パイロットのデモンストレーションを用いて、ソースドメインで反応型ポリシーを学習し、視覚入力を左右速度指令にマッピングする。
• 再生成ヒルバート空間における特徴表現の平均埋め込みを一致させることで、ソースドメインとターゲットドメイン間のドメイン差を最小化するため、Deep Adaptation Network（DAN）を適用する。
• 共有の特徴抽出器とドメイン固有のヘッドを備えた深層畳み込みニューラルネットワーク（CNN）を用い、ドメイン不変の表現を学習すると同時に、タスク固有のポリシー学習を保持する。
• ラベル付きソースデータとラベルなしターゲットデータを用いてモデルを訓練することで、ターゲットドメインでのラベルが不要な転送を可能にする。
• ソースドメインとターゲットドメインの特徴分布の統計的乖離を明示的に低減するために、マルチカーネル最大平均差分（MK-MMD）損失を採用する。
• 模倣学習損失とドメイン適応損失の組み合わせを用いて、ポリシーをエンドツーエンドで微調整することで、耐性と転送性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 シミュレーションまたはソース環境で訓練された反応型フライトポリシーは、最小限または完全にリアルワールドデータを用いずに、リアルワールドのターゲット環境へ効果的に転送可能か？
• RQ2 ドメイン適応は、単眼MAV飛行においてセンサの品質、動的特性、環境条件の変化に対して、ポリシーの一般化性能をどのように向上させるか？
• RQ3 物理的に異なるMAVプラットフォームや季節的条件間でポリシーを転送する際、ドメイン適応はナーブなポリシー再利用をどの程度上回るか？
• RQ4 粗いソースアノテーション（例：左/中央/右のトレール）は、転送性能にどのように影響するか。また、このようなデータの限界は何か？

主な発見

• 提案手法のドメイン適応により、実世界の屋外飛行において障害物回避の正確性が90%以上を達成し、6kmの飛行距離で1,900本以上の木を効果的に回避した。
• 物理的システムや天候条件の変化に伴う転送において、ターゲットドメインでの性能がソースドメインを上回った。これは、冬期に特徴的な高解像度のセンサと視覚的ごみの減少によるものとされた。
• ドメイン適応ポリシーは非適応ポリシーに比べて、密度の高い森の状況でも安定した制御を維持するなど、定性的な比較によって顕著に優れた一般化性能を示した。
• 市販のデータセットから得た粗いアノテーションを用いた環境間の転送では、わずかな性能向上にとどまり、タスクとドメインの不一致による限界が顕在化した。
• 冬期の条件では、葉や枝による視覚的干渉が減少したため、失敗事例が減少し、環境要因がポリシーの耐性に与える影響が明確になった。
• 本手法は、物理的位置、照明、動的条件が異なるソースドメインとターゲットドメイン間でも、ドメインシフトを効果的に低減できることを示した。