[論文レビュー] HMD Vision-based Teleoperating UGV and UAV for Hostile Environment using Deep Learning

Abhishek Sawarkar, Vishal Sharad Chaudhari+4 more|arXiv (Cornell University)|Sep 14, 2016

UAV Applications and Optimization参考文献 12被引用数 6

ひとこと要約

本論文は、深層学習を搭載した無人地面車両（UGV）と無人航空機（UAV）を用いた、半自律的遠隔操作システムを提案する。このシステムは、敵対的環境におけるリアルタイムの脅威検出を目的としており、AIが予測したテロリスト分類と信頼度スコアを含む拡張映像をヘッドマウントディスプレイ（HMD）へストリーミングし、ファーストパーソンで没入感のある視界を提供することで、偵察および戦闘ミッションにおける人的リスクを顕著に低減する。

ABSTRACT

The necessity of maintaining a robust antiterrorist task force has become imperative in recent times with resurgence of rogue element in the society. A well equipped combat force warrants the safety and security of citizens and the integrity of the sovereign state. In this paper we propose a novel teleoperating robot which can play a major role in combat, rescue and reconnaissance missions by substantially reducing loss of human soldiers in such hostile environments. The proposed robotic solution consists of an unmanned ground vehicle equipped with an IP camera visual system broadcasting real-time video data to a remote cloud server. With the advancement in machine learning algorithms in the field of computer vision, we incorporate state of the art deep convolutional neural networks to identify and predict individuals with malevolent intent. The classification is performed on every frame of the video stream by the trained network in the cloud server. The predicted output of the network is overlaid on the video stream with specific colour marks and prediction percentage. Finally the data is resized into half-side by side format and streamed to the head mount display worn by the human controller which facilitates first person view of the scenario. The ground vehicle is also coupled with an unmanned aerial vehicle for aerial surveillance. The proposed scheme is an assistive system and the final decision evidently lies with the human handler.

研究の動機と目的

• 敵対的環境における人的被害を低減するため、半自律的UGVおよびUAVを用いた偵察および脅威評価を実施すること。
• 完全自律システムの限界を補うために、人間の意思決定とAI支援の認識を統合すること。
• ヘッドマウントディスプレイ（HMD）を用いたリアルタイムのAI補強映像ストリーミングにより、状況認識能力を向上させること。
• 深層学習と無線映像伝送およびヘッドトラッキング制御を組み合わせた、堅牢で低レイテンシの遠隔操作フレームワークを開発すること。
• 複雑または遮蔽された環境におけるマルチポイント監視を可能とする、二台の車両（UGVおよびUAV）の同時運用を可能とすること。

提案手法

• UGVに搭載されたIPカメラが、無線リンクを介してリモートクラウドサーバーへリアルタイムの映像をストリーミングする。
• 事前に訓練された深層畳み込みニューラルネットワーク（CNN）が、各映像フレームを処理し、銃器の有無に基づいて個人を市民または可能性のあるテロリストに分類する。
• 分類結果が、色分けされたバウンディングボックス（市民は緑、容疑者は赤）と信頼度パcent（パーセンテージ）とともに映像ストリームに重ねられる。
• 拡張映像が、両眼用に半分のシームレスなシームレスなフォーマット（1眼あたり950×1000）に再フォーマットされ、ステレオスコピックVR表示に適応される。
• HMDシステムは、IMUセンサー（加速度計および磁気計）を用いて、運用者の頭部の動きを追跡し、XBeeを介して即座にUGVのパン・チルト機構を制御する。
• 暗号化された無線リンクにより、UGVからHMDへ処理済みの映像ストリームが送信され、動的カメラ制御を伴う没入型ファーストパーソン視点が実現される。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのCNNは、UGVのリアルタイム映像ストリームから、潜在的脅威（武装者）を正確に分類できるか？
• RQ2 AI支援の脅威検出とHMDベースの遠隔操作を統合することで、状況認識能力と作戦の安全性はどのように向上するか？
• RQ3 二台の車両（UGVおよびUAV）による同時運用は、複雑または遮蔽された敵対的環境における環境認識をどの程度向上させるか？
• RQ4 IMUを用いたヘッドトラッキング制御は、従来の制御方法と比較して、遠隔操作UGVの使いやすさと応答性をどのように向上させるか？
• RQ5 半分のシームレスなフォーマットによる映像処理技術は、リモート運用者に没入型で低レイテンシのVR体験を提供するのにどの程度効果的か？

主な発見

• 深層CNNは、視覚的信頼度スコアを伴い、映像ストリーム上に色分けされたバウンディングボックス（緑または赤）で示すことで、個人を市民または可能性のあるテロリストに正確に分類した。
• システムはリアルタイムの推論と映像処理を達成し、AI補強映像をHMDへ即座に送信することで、運用者への即時のフィードバックが可能になった。
• HMDベースのインターフェースにより、没入型のファーストパーソン視点が提供され、運用者の空間認識能力と作戦制御能力が顕著に向上した。
• IMUによるヘッドトラッキングの統合により、UGVのカメラパン・チルト機構に対する動的で直感的な制御が可能となり、応答性が向上し、認知的負荷が低減した。
• 二台の車両（UGVおよびUAV）を用いたアプローチにより、マルチポイント監視が可能となり、UGVの視界が遮蔽された際には地上視点と空中視点の切り替えが可能になった。
• システムは、武装者を脅威として高い信頼度で分類する可能性を示したが、現在のところ、武装した軍人および敵対的個人を区別することはできない。