[論文レビュー] Are We Making Real Progress in Simulated Environments? Measuring the Sim2Real Gap in Embodied Visual Navigation

Abhishek Kadian, Joanne Truong+7 more|arXiv (Cornell University)|Dec 13, 2019

Reinforcement Learning in Robotics参考文献 10被引用数 39

ひとこと要約

本論文は、シミュレートされたロボットエージェントと実際のロボットエージェントの間で同一コードを実行可能にするツール、Habitat-PyRobot Bridge (HaPy) を導入し、身体的視覚ナビゲーションにおける sim2real 予測性を評価するための新しい指標、Sim-vs-Real 相関係数 (SRCC) を提案する。実験の結果、エージェントが壁を滑らせるなどシミュレータの欠陥を悪用することで、従来の sim2real 移行は弱く（SRCC = 0.18）なっていたが、シミュレーションパラメータの最適化により SRCC は 0.844 まで向上し、信頼できる現実世界への一般化が可能になった。

ABSTRACT

Does progress in simulation translate to progress in robotics? Specifically, if method A outperforms method B in simulation, how likely is the trend to hold in reality on a robot? We examine this question for embodied (PointGoal) navigation, developing engineering tools and a research paradigm for evaluating a simulator by its sim2real predictivity, revealing surprising findings about prior work. First, we develop Habitat-PyRobot Bridge (HaPy), a library for seamless execution of identical code on a simulated agent and a physical robot. Habitat-to-Locobot transfer with HaPy involves just one line change in config, essentially treating reality as just another simulator! Second, we investigate sim2real predictivity of Habitat-Sim for PointGoal navigation. We 3D-scan a physical lab space to create a virtualized replica, and run parallel tests of 9 different models in reality and simulation. We present a new metric called Sim-vs-Real Correlation Coefficient (SRCC) to quantify sim2real predictivity. Our analysis reveals several important findings. We find that SRCC for Habitat as used for the CVPR19 challenge is low (0.18 for the success metric), which suggests that performance improvements for this simulator-based challenge would not transfer well to a physical robot. We find that this gap is largely due to AI agents learning to 'cheat' by exploiting simulator imperfections: specifically, the way Habitat allows for 'sliding' along walls on collision. Essentially, the virtual robot is capable of cutting corners, leading to unrealistic shortcuts through non-navigable spaces. Naturally, such exploits do not work in the real world where the robot stops on contact with walls. Our experiments show that it is possible to optimize simulation parameters to enable robots trained in imperfect simulators to generalize learned skills to reality (e.g. improving $SRCC_{Succ}$ from 0.18 to 0.844).

研究の動機と目的

• シミュレーションでのパフォーマンス向上が、実世界のロボティクスに信頼性を持って伝播するかどうかを評価すること、特に身体的視覚ナビゲーションの文脈において。
• シミュレートされたエージェントと物理的ロボットの両方で同一コードを実行可能な実用的なエンジニアリングフレームワークを構築すること。
• PointGoal ナビゲーションの文脈において、新しい指標である Sim-vs-Real 相関係数 (SRCC) を用いて、sim2real 予測性を定量化すること。
• 壁を滑るなどの、シミュレータ固有の行動がエージェントを誤導し、現実世界でのパフォーマンスを低下させる要因であることを同定・分析すること。
• シミュレーションパラメータのチューニングが、sim2real 移行性を顕著に向上させられることを実証すること。

提案手法

• シミュレーションと現実世界の実行を切り替えるための1行の設定変更を可能にするライブラリである HaPy を開発。物理的ロボットを別のシミュレータとして扱う。
• 実際のラボ空間の高精細な 3D スキャンを取得し、シミュレーションと現実の両方で並列テストが可能な仮想レプリカを構築。
• 同一の条件下で、9種類のナビゲーションモデルをシミュレーション環境と現実環境の両方で実行し、直接比較を可能にする。
• モデルのシミュレーション内順位と現実世界の順位の相関を測定するため、Sim-vs-Real 相関係数 (SRCC) を導入。
• 特に衝突応答とナビゲーション制約を含むシミュレーションパラメータを体系的に調整し、シミュレータ固有の抜け道行動を低減。
• パラメータチューニングが SRCC に与える影響を評価し、sim2real 予測性の向上を測定。

実験結果

リサーチクエスチョン

• RQ1 身体的視覚ナビゲーションエージェントのシミュレーション内でのパフォーマンス順位は、現実世界でのパフォーマンスをどの程度正確に予測できるか？
• RQ2 どのような特定のシミュレータの欠陥が、劣悪な sim2real 移行を引き起こし、エージェントを誤導しているか？
• RQ3 Sim-vs-Real 相関係数 (SRCC) は、sim2real 予測性を評価するための信頼できる指標として機能するか？
• RQ4 壁を滑るなどのシミュレータ固有の行動は、実際のロボット向けのシミュレーションベースの訓練の信頼性にどのように影響を与えるか？
• RQ5 シミュレーションパラメータのチューニングにより、sim2real 移行性を顕著に向上させられるか？もしそうなら、その程度はどの程度か？

主な発見

• CVPR19 チャレンジで使用された標準的な Habitat-Sim の設定では、成功度指標における Sim-vs-Real 相関係数 (SRCC) は 0.18 にとどまり、sim2real 移行性が著しく低いことが示された。
• sim2real 移行性が低い主な要因は、エージェントがシミュレータの不完全さ、特に「壁を滑る」ことによる非現実的な短絡的移動を悪用していることにある。
• 現実世界ではこのような壁を滑る行動は不可能であるため、この抜け道を悪用して訓練されたエージェントは、シミュレーション内での高いパフォーマンスにもかかわらず、現実世界で失敗する。
• 壁を滑る機能を無効にし、現実的な衝突挙動を強制するようにシミュレーションパラメータをチューニングした結果、成功度の SRCC は 0.18 から 0.844 まで向上し、sim2real 予測性が顕著に向上した。
• 適切なシミュレーション設定をとることで、シミュレーションでの訓練が現実世界のパフォーマンスを信頼性高く予測可能になることが示された。これにより、sim2real 移行が現実可能になった。