[論文レビュー] A Fog Robotic System for Dynamic Visual Servoing

Nan Tian, Jinfa Chen+5 more|arXiv (Cornell University)|Sep 16, 2018

Modular Robots and Swarm Intelligence参考文献 17被引用数 3

ひとこと要約

本論文では、クラウドベースの視覚認識とエッジベースのリアルタイム制御を統合することで、構造化されていない環境でも人間を伴う動的で頑健なビジュアルサーボを実現するFogロボットシステムを提案する。非同期な「ハートビート」プロトコルとクラウドにデプロイされたAprilTagベースの画像ベースのビジュアルサーボ（IBVS）を用いることで、システムは人間からのボックスの自動ピックアップにおいて100％の成功率を達成し、速度と信頼性の面でクラウド遠隔操作を上回った。

ABSTRACT

Cloud Robotics is a paradigm where distributed robots are connected to cloud services via networks to access unlimited computation power, at the cost of network communication. However, due to limitations such as network latency and variability, it is difficult to control dynamic, human compliant service robots directly from the cloud. In this work, by leveraging asynchronous protocol with a heartbeat signal, we combine cloud robotics with a smart edge device to build a Fog Robotic system. We use the system to enable robust teleoperation of a dynamic self-balancing robot from the cloud. We first use the system to pick up boxes from static locations, a task commonly performed in warehouse logistics. To make cloud teleoperation more efficient, we deploy image based visual servoing (IBVS) to perform box pickups automatically. Visual feedbacks, including apriltag recognition and tracking, are performed in the cloud to emulate a Fog Robotic object recognition system for IBVS. We demonstrate the feasibility of real-time dynamic automation system using this cloud-edge hybrid, which opens up possibilities of deploying dynamic robotic control with deep-learning recognition systems in Fog Robotics. Finally, we show that Fog Robotics enables the self-balancing service robot to pick up a box automatically from a person under unstructured environments.

研究の動機と目的

• ネットワーク遅延と変動のため、クラウドを介した動的で人間準拠のサービスロボットの制御が困難であるという課題に対処すること。
• ハイレベルな知能（クラウド）とリアルタイム応答性（エッジ）のバランスを取るハイブリッドクラウドエッジアーキテクチャを構築すること。
• カメラキャリブレーションの再設定が不要な状態で、構造化されていない環境においても自動的かつ信頼性の高いボックスピックアップを可能にすること。
• 動的な人間-ロボットインタラクションを実証し、ロボットが移動中の人間キャリアからボックスを自律的にピックアップすることを可能にすること。

提案手法

• ネットワーク遅延と変動の影響を軽減するため、クラウドとエッジ間で非同期な「ハートビート」通信プロトコルを実装すること。
• クラウドにAprilTag認識とトラッキングをデプロイし、視覚フィードバックのためのFogロボティクスオブジェクト認識システムを模倣すること。
• カメラキャリブレーションを各タスクごとに必要としない2次元画像ベースのビジュアルサーボ（IBVS）を用いて、ターゲットボックスへのロボットの運動を制御すること。
• 自己平衡性と二本のアームを備えたロボット（Igor）とシステムを統合し、操作中にバランスと柔軟性を維持すること。
• クラウドが視覚データを処理し、ハートビート信号を介して低帯域幅の命令をエッジコントローラーに送信する制御ループを設計すること。
• AprilTagの検出時に自動モードに切り替える仕組みを実装し、ロボットが人間キャリアからボックスを自律的に追跡・把持できるようにすること。

実験結果

リサーチクエスチョン

• RQ1 非同期クラウドエッジ通信を備えたFogロボットシステムは、ネットワーク遅延と変動があっても、動的で自己平衡性を持つロボットの頑健な遠隔操作を可能にするか？
• RQ2 クラウドベースのAprilTag認識とエッジベースのIBVSの組み合わせは、構造化されていない環境における自動ボックスピックアップにどの程度効果的か？
• RQ3 ビジュアルサーボが、動的ロボティクス操作タスクにおいて繰り返しカメラキャリブレーションを必要としない程度にまでその必要性を排除できるか？
• RQ4 ロボットが移動中の人間キャリアからボックスを追従・ピックアップできる継続的かつ人間準拠のインタラクションをシステムがサポートできるか？
• RQ5 速度と成功率の観点から、ローカル遠隔操作、クラウド遠隔操作、自動ビジュアルサーボの間で性能のトレードオフはどのようなものか？

主な発見

• Fogロボットシステムは、人間キャリアからのボックスの自動ピックアップにおいて100％の成功率を達成した。これはクラウド遠隔操作の40％の成功率に比べ顕著に優れていた。
• 自動ピックアップの平均所要時間は46秒で、ローカル遠隔操作の43秒と同等の速さであった。一方、クラウド遠隔操作の平均所要時間は340秒にのぼった。
• ロボットとAprilTagの間の距離が最大6メートルまででも、システムは安定したトラッキングと運動制御を維持し、信頼性の高い運用を示した。
• 非同期ハートビートプロトコルにより、ネットワークの変動があっても制御が頑健に保たれたが、プロトコルのウィンドウサイズのため、最後の命令から250 msの遅延が観測された。
• IBVSモジュールのおかげで、各タスクの前に行うカメラキャリブレーションの必要性がなくなり、動的環境への迅速な展開が可能になった。
• ロボットは動的障害物を適切に回避し、コンプライアンスサーボを用いてバランスを維持した。また、人間の操作者が複雑な経路を避けながらロボットを誘導することができた。