[論文レビュー] Sim-Real Joint Reinforcement Transfer for 3D Indoor Navigation

Fengda Zhu, Linchao Zhu+1 more|arXiv (Cornell University)|Apr 8, 2019

Multimodal Machine Learning Applications参考文献 45被引用数 7

ひとこと要約

本稿では、敵対的特徴適応とポリシー模倣を用いて、合成環境から実空間の3Dインテリア環境へ視覚的表現とポリシー行動を同時に適応させる共同強化転送（JRT）フレームワークを提案する。人間によるアノテーションを一切用いずに、微調整ベースライン比でナビゲーション成功率を21.73%向上させ、実世界への展開においてドメイン適応とポリシー模倣が相互に補い合うことを示した。

ABSTRACT

There has been an increasing interest in 3D indoor navigation, where a robot in an environment moves to a target according to an instruction. To deploy a robot for navigation in the physical world, lots of training data is required to learn an effective policy. It is quite labour intensive to obtain sufficient real environment data for training robots while synthetic data is much easier to construct by rendering. Though it is promising to utilize the synthetic environments to facilitate navigation training in the real world, real environment are heterogeneous from synthetic environment in two aspects. First, the visual representation of the two environments have significant variances. Second, the houseplans of these two environments are quite different. Therefore two types of information, i.e. visual representation and policy behavior, need to be adapted in the reinforcement model. The learning procedure of visual representation and that of policy behavior are presumably reciprocal. We propose to jointly adapt visual representation and policy behavior to leverage the mutual impacts of environment and policy. Specifically, our method employs an adversarial feature adaptation model for visual representation transfer and a policy mimic strategy for policy behavior imitation. Experiment shows that our method outperforms the baseline by 19.47% without any additional human annotations.

研究の動機と目的

• ロボットにおける3Dインテリアナビゲーションのための実世界学習データが限られているという課題に対処すること。
• 視覚的外観とレイアウト構造の違いにより、合成環境と実環境の間のドメインギャップを埋めること。
• 視覚的表現とポリシー行動を同時に適応させることで、現実世界での一般化性能と性能を向上させること。
• 大規模な合成環境からの知識を活用することで、人間によるアノテートデータに依存しないこと。
• 敵対的特徴適応とポリシー模倣が転移学習プロセスにおいてお互いに補い合うことの実証。

提案手法

• 合成ドメインと実ドメインの間で視覚的特徴を揃えるために敵対的特徴適応を統合し、表現空間におけるドメインシフトを低減する。
• 事前に訓練された合成ポリシーから実環境へのナビゲーション行動を転送するためのポリシー模倣戦略を採用する。
• 視覚的表現とポリシー行動の両方の適応メカニズムを共同学習フレームワークに統合し、相互に改善を促進する。
• 合成特徴を実ドメインの分布に一致させるマッピング関数を学習するための敵対的損失を用いる。
• ポリシー模倣を監督するためのミミック損失を適用し、低データの実環境におけるトレーニングの安定化と過学習の防止を図る。
• 特徴学習における意味的整合性を保つためにアイデンティティ損失を活用し、オブジェクトレベルの注目（例：ドア、壁）を強化する。

実験結果

リサーチクエスチョン

• RQ1 視覚的表現とポリシー行動の共同適応は、3Dインテリアナビゲーションにおけるシミュレーションから現実への転送を向上させることができるか？
• RQ2 敵対的特徴適応は、実環境におけるドアなどの関連ナビゲーションキューを的確に注目できる能力にどのように影響するか？
• RQ3 ポリシー模倣は、低データの現実世界シナリオにおいて、ナビゲーション行動を安定化させ、過学習を軽減する程度はどの程度か？
• RQ4 アイデンティティ損失とミミック損失の両者の相対的影響は、転送性能にどの程度現れるか？
• RQ5 共同フレームワークは、追加の人間アノテーションなしに、標準的な微調整を上回る性能を発揮できるか？

主な発見

• 提案されたJRTフレームワークは、人間によるアノテートデータを一切使用せず、微調整ベースライン比でナビゲーション成功確率を21.73%向上させた。
• アブレーションスタディの結果、ミミック損失はアイデンティティ損失よりも感受性が高く、最適値から外れた場合に性能が急激に低下することが判明した。
• 視覚的注目分析から、敵対的適応とアイデンティティ損失を組み合わせたモデルは、ドアなどの意味的関連特徴に注目している一方、ベースラインモデルは散乱した注目を示し、ターゲットを特定できないことがわかった。
• ポリシー模倣により、複雑な実環境でも安定した探索的ナビゲーション行動が実現されたが、それらを備えないモデルは過学習のため、不規則でループする動きを示した。
• ヒートマップ可視化により、共同適応が特徴学習を強化することが確認された：モデルは重要なナビゲーションオブジェクトを識別し、的確に注目できるようになった。
• 視覚的ドメイン適応とポリシー模倣の相互強化により、中間表現が向上し、最終的なナビゲーション性能も向上した。