[論文レビュー] SA-Net: Deep Neural Network for Robot Trajectory Recognition from RGB-D Streams

Nihal Soans, Asali, Ehsan+2 more|arXiv (Cornell University)|May 10, 2019

Anomaly Detection Techniques and Applications参考文献 27被引用数 6

ひとこと要約

SA-Net は、3次元畳み込みニューラルネットワーク（3D-CNN）、LSTM、特徴量統合を組み合わせたハイブリッドアーキテクチャを用いて、RGB-D動画ストリームから状態-行動ペアを認識する深層ニューラルネットワークである。本手法は、従来の重心ベースの手法や以前のモデルと比較して、ノイズが多いまたは遮蔽された状況下でも顕著に高い精度を達成し、リソース制限のあるロボットプラットフォームへの頑健なデプロイを可能にする。

ABSTRACT

Learning from demonstration (LfD) and imitation learning offer new paradigms for transferring task behavior to robots. A class of methods that enable such online learning require the robot to observe the task being performed and decompose the sensed streaming data into sequences of state-action pairs, which are then input to the methods. Thus, recognizing the state-action pairs correctly and quickly in sensed data is a crucial prerequisite for these methods. We present SA-Net a deep neural network architecture that recognizes state-action pairs from RGB-D data streams. SA-Net performed well in two diverse robotic applications of LfD -- one involving mobile ground robots and another involving a robotic manipulator -- which demonstrates that the architecture generalizes well to differing contexts. Comprehensive evaluations including deployment on a physical robot show that \sanet{} significantly improves on the accuracy of the previous method that utilizes traditional image processing and segmentation.

研究の動機と目的

• ロボット学習から観察（LfO）の過程で、RGB-D センサーストリームからの状態-行動ペアを正確に認識するという、極めて重要な課題に取り組むこと。
• OpenCV やマーカーに基づくトラッキングに依存する、問題に特化した即席の手法に代わる汎用的な深層学習アーキテクチャを開発すること。
• 計算リソースが限られたロボット上で、リアルタイムかつオンボードで状態-行動認識を実行可能にする。
• より正確な軌道データを提供することにより、逆強化学習などの下流の LfO メソッドの性能を向上させること。
• 遮蔽、背景のごみ、低照度といった一般的な現実世界の課題に対する耐性を高めること。

提案手法

• 連続する3つの時間ステップ（t-2, t-1, t）でRGBおよび深度データストリームを処理する、二本のブランチを持つ CNN-LSTM アーキテクチャを採用。
• 時間に分散された2次元畳み込みネットワーク（2D-CNN）に続いて、2段のスタックされた長短期記憶（LSTM）ネットワークを用いて、動きと姿勢の時間的ダイナミクスをモデル化。
• 深度データを別ブランチで処理し、相対距離を推定することで、観測中のロボットの空間的認識を強化。
• 特徴量抽出の前に、専門的な物体検出（Faster R-CNN や YOLO2）を用いて、エキスパートロボットの周囲の注目領域（ROI）を切り取る。
• RGB と深度の特徴量を後期統合により統合し、全結合層とソフトマックス分類器に供給することで、状態-行動予測を実現。
• 連続的な状態-行動空間の予測への拡張を想定し、ジョイントリグレッションヘッドのバリエーションを活用。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、RGB-D ストリームからの状態-行動ペア認識において、従来のマーカーベースや重心ベースのトラッキング手法を上回る精度を達成できるか？
• RQ2 提案されたアーキテクチャは、遮蔽、背景のごみ、低照度といった現実世界の課題に対してどれほど頑健か？
• RQ3 向上した状態-行動認識は、ロボットタスクにおける下流の逆強化学習の成功確率をどの程度向上させるか？
• RQ4 SA-Net は、計算リソースとメモリが限られたモバイルロボット上で、効率的にデプロイ可能か？
• RQ5 性能に不可欠なアーキテクチャ的要素は何か？ それぞれが頑健性と精度にどのように寄与しているか？

主な発見

• SA-Net は、周回パトロールタスクにおける逆強化学習で平均 63.3% の成功率を達成し、重心ベース手法（43.9%）を顕著に上回り、p 値 0.02 で有意差を示した。
• 50% の遮蔽状態下でも、SA-Net は 82.1% の予測精度を維持したが、重心ベース手法はロボット検出に失敗し、0% の精度にとどまった。
• 同色のボックスや人間が混在する背景ノイズのテストでは、SA-Net は 85% を超える精度を維持し、視覚的ごみに対する頑健性を示した。
• YOLO2 を用いた検出により、リアルタイム推論を達成し、Faster R-CNN に比べて予測時間を 5 倍以上短縮した。
• アブレーションスタディの結果、LSTM の時間的モデリングと深度モダリティの両方が、最適な性能を発揮するために不可欠であることが確認された。
• SA-Net はロボットのオンボードシステムでたった 1.2 GB の RAM を消費したため、リソース制限のあるプラットフォームへのデプロイ可能性が裏付けられた。