[論文レビュー] Socially Compliant Navigation through Raw Depth Inputs with Generative Adversarial Imitation Learning

Lei Tai, Jingwei Zhang+2 more|arXiv (Cornell University)|Oct 6, 2017

Reinforcement Learning in Robotics被引用数 13

ひとこと要約

本稿では、正確な歩行者状態推定を必要とせず、生の深度画像のみを用いて、動的環境において安全かつ社会的規範に準拠した行動をとるモバイルロボットのナビゲーションを可能にする生成的対抗的模倣学習（GAIL）手法を提案する。行動クラーニングに比べ、専門家の行動デモにおける時間的依存性をモデル化することで、シミュレーションおよびTurtlebotプラットフォーム上での実世界への実装において、優れた安全性と効率性を達成し、リアルタイム性能を実現している。

ABSTRACT

We present an approach for mobile robots to learn to navigate in dynamic environments with pedestrians via raw depth inputs, in a socially compliant manner. To achieve this, we adopt a generative adversarial imitation learning (GAIL) strategy, which improves upon a pre-trained behavior cloning policy. Our approach overcomes the disadvantages of previous methods, as they heavily depend on the full knowledge of the location and velocity information of nearby pedestrians, which not only requires specific sensors, but also the extraction of such state information from raw sensory input could consume much computation time. In this paper, our proposed GAIL-based model performs directly on raw depth inputs and plans in real-time. Experiments show that our GAIL-based approach greatly improves the safety and efficiency of the behavior of mobile robots from pure behavior cloning. The real-world deployment also shows that our method is capable of guiding autonomous vehicles to navigate in a socially compliant manner directly through raw depth inputs. In addition, we release a simulation plugin for modeling pedestrian behaviors based on the social force model.

研究の動機と目的

• ロボットが衝突を避けながら歩行者に対応できるようにする動的環境における社会的規範に準拠したナビゲーションの課題に取り組む。
• 3D LiDARなどの高価なセンサに依存する、正確な歩行者位置および速度データを必要とする従来の手法の限界を克服する。
• 低価格の深度カメラからの生の深度画像のみを用いて、リアルタイムでのナビゲーションを可能にし、実世界への実装可能性を向上させる。
• 専門家の軌道における時間的相関を捉える学習フレームワークを構築し、フレーム単位の行動クラーニングを超えたポリシーの一般化を向上させる。
• 社会的力モデルに基づく社会的規範に準拠した歩行者行動を模擬するためのシミュレーションプラグインおよびデータセットを公開する。

提案手法

• 専門家のデモから得たデータを用いて行動クラーニング（BC）を実行し、ナビゲーションポリシーの初期化を行う。
• 生成的対抗的模倣学習（GAIL）を用いて、専門家の軌道の背後にあるマルコフ意思決定過程をモデル化することで、BCポリシーを最適化する。
• GAILにおける識別器を用い、専門家の軌道と模倣によって生成された軌道を区別させ、エージェントが社会的規範に準拠した行動を模倣するように促進する。
• ポリシー・ネットワークの入力として、生の深度画像（Intel Realsense R200から切り出した400×250）を処理し、視覚入力からのエンドツーエンド学習を可能にする。
• 歩行者ダイナミクスに社会的力モデルを用いたシミュレーテッド・シナリオから収集した10,000組の状態-行動ペアのデータセットを用いてポリシーを学習する。
• 最終的なGAILポリシーを、NVIDIA Jetson TX2を搭載したTurtlebot waffleプラットフォームにデプロイし、15Hzのリアルタイム推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 生の深度画像から直接、明示的な歩行者状態情報が不要なGAILベースのポリシーが、社会的規範に準拠したナビゲーション行動を学習できるか？
• RQ2 歩行者に近接してナビゲートする状況において、GAILは行動クラーニングに比べて安全性および経路効率の点でどのように向上するか？
• RQ3 シミュレーションで学習したポリシーが、生の深度入力のみで、実世界の動的環境にどの程度一般化できるか？
• RQ4 提案されたシミュレーションプラグインおよびデータセットは、訓練および評価のための現実的な歩行者相互作用をどの程度効果的にモデル化できるか？
• RQ5 多様な社会的ナビゲーションシナリオにおいて、安全性（最小距離：min-dist）と効率性（移動時間：travel-time）の性能トレードオフはどのようなものか？

主な発見

• GAILポリシーは、全6つのシミュレーションシナリオにおいて、行動クラーニングベースラインに比べ、平均的な最小距離（min-dist）が著しく向上し、安全性が向上した。
• GAILポリシーは大多数のシナリオでより効率的な経路計画を実現し、移動時間（travel-time）が短縮されたが、2つの単純なシナリオではBCがわずかに速かった。
• 定性的な分析において、GAILポリシーは歩行者同士の間を通過する（シナリオd）およびグループから脱出する（シナリオe）という状況を正常に処理したが、BCポリシーはこれらの状況で失敗した。
• Turtlebot waffleを用いた実世界実験では、GAILポリシーが生の深度画像と15Hzのリアルタイム推論のみを用いて、社会的規範に準拠したナビゲーションを実現した。
• 本手法は、視野が限定されていることやロボットの低速制御という制約に対しても効果的に対処でき、センサーや制御の制限にもかかわらず、高いロバスト性を示した。
• 社会的力モデルに基づくシミュレーションプラグインおよびデータセットの公開により、社会的規範に準拠したナビゲーションポリシーの一貫性のある再現可能な訓練および評価が可能になった。