[論文レビュー] Task-relevant Representation Learning for Networked Robotic Perception

Manabu Nakanoya, Sandeep Chinchali+4 more|arXiv (Cornell University)|Nov 6, 2020

Robotics and Automated Systems参考文献 22被引用数 4

ひとこと要約

本論文では、事前学習済みで固定されたタスクネットワークとエンコーダ/デコーダネットワークを整合させることで、タスクに関連する最小限のロボットセンサデータ表現を学習する共同設計フレームワークを提案する。タスク目的によって圧縮を誘導することで、Mars地形分類、ニューラルモーションプランニング、環境異常検出といった多様なタスクにおいて、低消費電力エッジアクセラレータを搭載した装置でも高い精度を維持しながら、ベースラインのオートエッコーダーより最大11倍高い圧縮比を達成した。

ABSTRACT

Today, even the most compute-and-power constrained robots can measure complex, high data-rate video and LIDAR sensory streams. Often, such robots, ranging from low-power drones to space and subterranean rovers, need to transmit high-bitrate sensory data to a remote compute server if they are uncertain or cannot scalably run complex perception or mapping tasks locally. However, today's representations for sensory data are mostly designed for human, not robotic, perception and thus often waste precious compute or wireless network resources to transmit unimportant parts of a scene that are unnecessary for a high-level robotic task. This paper presents an algorithm to learn task-relevant representations of sensory data that are co-designed with a pre-trained robotic perception model's ultimate objective. Our algorithm aggressively compresses robotic sensory data by up to 11x more than competing methods. Further, it achieves high accuracy and robust generalization on diverse tasks including Mars terrain classification with low-power deep learning accelerators, neural motion planning, and environmental timeseries classification.

研究の動機と目的

• 現在のセンサデータ表現が人間の認識を最適化しているのに対し、ロボットのタスクパフォーマンスを最適化していないという非効率性に対処する。
• リソース制約のあるロボットが遠隔サーバーにデータを送信して認識タスクを実行する際の通信コストと計算コストを低減する。
• 事前学習済みタスクモデルの目的に適合するように、最小限でタスク固有のセンサ表現を共同設計する。
• オンボード計算と帯域幅の使用を最小限に抑えることで、Google Edge TPUのような低消費電力エッジデバイスへの効率的なデプロイを可能にする。
• RGB-D動画、LiDAR点群、環境時系列データを含む、複数のセンサモダリティに一般化可能である。

提案手法

• 微分可能で事前学習済みのタスクネットワークを中央サーバーに固定し、その目的がロボット側のエンコーダとサーバー側のデコーダの学習を誘導する。
• エンコーダは生のセンサ入力を低次元のボトルネック表現 $ z $ に圧縮し、デコーダは入力を再構築してタスク推論に使用する。
• 損失関数にはタスク固有の分類損失と再構築損失を組み合わせており、タスク損失が優位に設定されており、下流タスクに必要な情報を優先的に学習する。
• 入力次元の変更を必要としないため、パブリックモデルと即座に統合可能なプラグアンドプレイ型の統合を可能にする。
• バックプロパゲーションを用いてエンドツーエンドで学習され、訓練中はタスクネットワークのパラメータは固定される。
• 計算負荷をロボットとサーバー間で柔軟に割り当てられ、低消費電力DNNアクセラレータと互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 共同設計されたエンコーダ-デコーダフレームワークは、標準のオートエッコーダーを上回る圧縮効率を実現する最小限でタスク関連の表現を学習できるか？
• RQ2 本手法は、未学習の火星地形や環境センサの異常といった、ドメイン外のロボット認識タスクに対しても一般化できるか？
• RQ3 低消費電力ハードウェア上で高いタスク精度を維持しつつ、通信コストとオンボード計算コストをどの程度低減できるか？
• RQ4 アーキテクチャの変更なしに、動画、LiDAR、時系列データといった多様なセンサモダリティに適用可能か？
• RQ5 再構築に焦点を当てた圧縮と比較して、タスク誘導型圧縮は、耐性と効率性の面でどのように優れているか？

主な発見

• 本手法は、完全な再構築を目的としないで、タスク関連特徴に焦点を当てることで、標準のオートエッコーダーと比較して最大11倍高い圧縮比を達成した。
• 火星地形分類タスクでは、ボトルネックサイズ $ z = 4, 8 $ の小さなサイズでも、TaskNetはMPNetを大きく上回り、ドメイン外地形における一般化性能の優位性を示した。
• ニューラルモーションプランニングタスクでは、$ z = 8 $ でもTaskNetは高い性能を維持しているが、MPNetは急激に性能を落とし、情報効率の高さが顕著に現れた。
• 環境時系列異常検出タスクでは、TaskNetは元のデータと同等の90%のテスト精度を達成しながら、低い再構築損失と高い圧縮比を実現した。
• Google Edge TPUのような低消費電力エッジデバイスへのデプロイが可能であり、計算と帯域幅制限が厳しい実世界のロボットシステムに適している。
• 動画、LiDAR、マルチセンサ時系列データを含む複数のセンサモダリティに一般化可能で、一貫した性能向上が得られた。