[論文レビュー] A Fog Robotics Approach to Deep Robot Learning: Application to Object Recognition and Grasp Planning in Surface Decluttering

Ajay Kumar Tanwani, Nitesh Mor+3 more|arXiv (Cornell University)|Mar 22, 2019

Robotics and Automated Systems参考文献 55被引用数 7

ひとこと要約

本論文は、ロボットビジョンの遅延、プライバシー、シミュレーションから実世界への転送を改善するために、クラウドとエッジ間でディープラーニングワークロードを分散するFog Roboticsフレームワークを提案する。クラウドで公開の合成データを用いて学習し、エッジで実世界環境にモデルを適応させることで、推論遅延を4倍に短縮し、213回の試行において表面の整理作業で86.85%のグリップ成功を達成した。

ABSTRACT

The growing demand of industrial, automotive and service robots presents a challenge to the centralized Cloud Robotics model in terms of privacy, security, latency, bandwidth, and reliability. In this paper, we present a `Fog Robotics' approach to deep robot learning that distributes compute, storage and networking resources between the Cloud and the Edge in a federated manner. Deep models are trained on non-private (public) synthetic images in the Cloud; the models are adapted to the private real images of the environment at the Edge within a trusted network and subsequently, deployed as a service for low-latency and secure inference/prediction for other robots in the network. We apply this approach to surface decluttering, where a mobile robot picks and sorts objects from a cluttered floor by learning a deep object recognition and a grasp planning model. Experiments suggest that Fog Robotics can improve performance by sim-to-real domain adaptation in comparison to exclusively using Cloud or Edge resources, while reducing the inference cycle time by 4 imes to successfully declutter 86% of objects over 213 attempts.

研究の動機と目的

• リアルタイムのロボットアプリケーションにおける遅延、帯域幅、プライバシー、信頼性の面で、集中型クラウドロボティクスの限界を解消すること。
• エッジでのドメイン不変のモデル適応を可能にすることで、ロボット学習におけるシミュレーションから実世界へのドメインシフトの課題を克服すること。
• 構造的でない環境（例：家庭やワークショップ）で動作するモバイルロボットの推論遅延を低減し、信頼性を向上させること。
• 機密の実世界データが信頼できるローカルネットワーク内に留まる一方で、公開の合成データを活用して学習する、セキュアでフェデレーテッドな学習パイプラインを実装すること。
• モバイルロボットプラットフォームを用いて、表面の整理作業におけるオブジェクト認識およびグリップ計画のための、効率的で低遅延なディープモデルのデプロイを可能にすること。

提案手法

• プライバシー上の懸念を避けるために、クラウドで公開の合成画像を用いてオブジェクト認識およびグリップ計画のためのディープニューラルネットワークを学習する。
• 信頼できるローカルネットワーク内でエッジで収集したプライベートな実画像を用いて、事前に学習されたモデルを実世界環境に適応する。
• GPUを搭載したエッジデバイスに適応されたモデルをデプロイし、リアルタイム意思決定のための低遅延推論（100 ms未満）を実現する。
• クラウドが大規模な事前学習を担当し、エッジが局所的な適応と推論を実行する、フェデレーテッドに似たアーキテクチャを採用する。
• 無線通信を活用し、モデルの重みと予測結果のみを送信することで、往復時間（RTT）を最適化する。
• 一般化を向上させるために、ドメインランダマイゼーションおよびドメイン不変表現学習の技術を適用する。

実験結果

リサーチクエスチョン

• RQ1 プライバシーを守りながら、シミュレーションから実世界のロボットアプリケーションへのディープラーニングモデルの効果的転送はどのように実現できるか？
• RQ2 推論をエッジで実行する場合とクラウドで実行する場合とで、ロボットアプリケーションにおける遅延、信頼性、タイミングのばらつきにどのような影響があるか？
• RQ3 クラウドとエッジのハイブリッドアーキテクチャは、クラウドまたはエッジに限定してデプロイする場合と比較して、表面の整理作業における推論遅延を低減し、パフォーマンスを向上させることができるか？
• RQ4 エッジでのドメイン適応は、オブジェクト認識およびグリップ計画におけるシミュレーションから実世界への一般化をどの程度向上させるか？
• RQ5 無線ネットワーク環境下でのロボットとリモートサーバー間の通信オーバーヘッドは、エンドツーエンドのシステムパフォーマンスにどのように影響するか？

主な発見

• 推論サービスをエッジにデプロイすることで、EC2クラウド（東）と比較して往復時間（RTT）を4倍短縮し、オブジェクト認識のRTTを437.63 msから119.40 msに低下させた。
• グリップ計画モデルは213回の試行で86.85%の正確性を達成し、185/185のオブジェクトを正常に整理した。これは垂直グリップ（76.19%の正確性）を著しく上回った。
• エッジでのドメイン適応後、実世界の画像におけるオブジェクト認識の正確性は90.14%に達し、効果的なシミュレーションから実世界への転送が実証された。
• 通信時間は全体の推論コストを支配しており、サーバーまでの距離が増すと特にクラウド（西：181.61 ms、東：437.63 ms）でRTTが顕著に増加した。
• GPU搭載エッジは、グリップ計画の推論時間を1753.65 ms（inf）に短縮し、RTTを1873.16 msにまで低下させ、CPU搭載エッジおよびリモートクラウドインスタンスを上回るパフォーマンスを発揮した。
• モデルをエッジにデプロイすることで、推論遅延を100 ms未満に抑え、動的環境におけるモバイルロボットのリアルタイム意思決定を可能にした。