[論文レビュー] PRED18: Dataset and Further Experiments with DAVIS Event Camera in Predator-Prey Robot Chasing

Diederik Paul Moeys, Daniel Neil+8 more|arXiv (Cornell University)|Jul 2, 2018

CCD and CMOS Imaging Sensors被引用数 8

ひとこと要約

本論文では、リアルタイムの捕食者・獲物ロボット追跡を実現するための新規データセットPRED18とロボットシステムを紹介する。動的ビジョンセンサー（DVS）イベントと1.25時間分のラベル付きデータでトレーニングされたCNNを活用することで、システムは変動する遅延と高い省電力効率を達成し、推論時に獲物の角度位置を平均8.7%の誤差で推定する。これは、従来のディープラーニングフレームワークとの互換性と、高い耐障害性を示している。

ABSTRACT

Machine vision systems using convolutional neural networks (CNNs) for robotic applications are increasingly being developed. Conventional vision CNNs are driven by camera frames at constant sample rate, thus achieving a fixed latency and power consumption tradeoff. This paper describes further work on the first experiments of a closed-loop robotic system integrating a CNN together with a Dynamic and Active Pixel Vision Sensor (DAVIS) in a predator/prey scenario. The DAVIS, mounted on the predator Summit XL robot, produces frames at a fixed 15 Hz frame-rate and Dynamic Vision Sensor (DVS) histograms containing 5k ON and OFF events at a variable frame-rate ranging from 15-500 Hz depending on the robot speeds. In contrast to conventional frame-based systems, the latency and processing cost depends on the rate of change of the image. The CNN is trained offline on the 1.25h labeled dataset to recognize the position and size of the prey robot, in the field of view of the predator. During inference, combining the ten output classes of the CNN allows extracting the analog position vector of the prey relative to the predator with a mean 8.7% error in angular estimation. The system is compatible with conventional deep learning technology, but achieves a variable latency-power tradeoff that adapts automatically to the dynamics. Finally, investigations on the robustness of the algorithm, a human performance comparison and a deconvolution analysis are also explored.

研究の動機と目的

• イベントベースのセンシングを活用した、適応的遅延および消費電力のロボットビジョンシステムの開発。
• DAVISイベントカメラを用いて動的捕食者・獲物相互作用を捉えた大規模でラベル付きのデータセット（PRED18）の構築。
• 閉ループのロボット制御環境下で、DVSイベントとフレームベースデータを用いたCNNベースのオブジェクト局所化システムの性能評価。
• 人間の操作者との比較を通じて、運動ダイナミクスの変化に伴うアルゴリズムの耐障害性の分析。

提案手法

• サブミットXLの捕食者ロボットにDAVIS 240Cイベントカメラを搭載し、標準15 Hzのフレームに加え、動きに応じて変動するレート（15–500 Hz）で非同期DVSイベントを取得する。
• 1.25時間分のラベル付きデータセットを用いて、オフラインで畳み込みニューラルネットワーク（CNN）をトレーニングし、視野内における獲物ロボットの位置とサイズを分類する。
• 推論段階では、CNNの10クラス出力を統合して、獲物が捕食者に対してどの角度にあるかをアナログの角度位置ベクトルとして推定する。
• DVSイベントヒストグラムとフレームデータを統合することで、シーンのダイナミクスに応じた可変遅延処理を実現し、低運動状態の間は消費電力を低減する。
• 特徴マップの解釈とネットワークの解釈可能性を評価するために、デコンボリューション解析を適用する。
• システムの耐障害性とリアルタイム効果性を評価するために、人間の性能と比較する。

実験結果

リサーチクエスチョン

• RQ1 DAVISイベントカメラは、動的捕食者・獲物ロボットシナリオにおいて、リアルタイムで低遅延かつ省電力なオブジェクト追跡を可能にするか。
• RQ2 フレームとイベントデータのハイブリッドデータでトレーニングされたCNNの性能は、実世界のロボット追跡タスクにおいて人間の操作者と比較してどの程度優れているか。
• RQ3 システムの可変遅延および消費電力が、運動ダイナミクスの変化にどの程度適応するか。
• RQ4 照明条件や運動状態の変化に伴って、CNNベースの角度推定の耐障害性はどの程度か。
• RQ5 デコンボリューション解析から、イベントベースビジョンシステムにおける特徴学習に関する何が明らかになるか。

主な発見

• CNNベースのシステムは、リアルタイム推論中に、獲物の位置を捕食者に対して平均8.7%の誤差で推定する。
• システムはシーンのダイナミクスに応じて可変遅延および消費電力を調整し、低運動状態の間はエネルギー消費を低減する。
• 人間の性能比較において、システムの追跡精度は同様のタスクを実行する人間の操作者と同等の水準であることが示された。
• デコンボリューション解析により、ネットワークが物体の運動や位置と整合した空間的に一貫した特徴を学習していることが明らかになった。
• DVSイベントヒストグラムと従来のCNNの統合により、正確さを損なわずに、強固で低遅延の認識が可能になった。
• 1.25時間分のラベル付きデータを含むPRED18データセットは、イベントベースロボットビジョン研究のための貴重なベンチマークを提供する。