[論文レビュー] Real-Time Robot Localization, Vision, and Speech Recognition on Nvidia Jetson TX1

Jie Tang, Yong Ren+1 more|arXiv (Cornell University)|May 31, 2017

Robotics and Automated Systems参考文献 9被引用数 5

ひとこと要約

本論文は、低消費電力のNvidia Jetson TX1プラットフォーム上で、ロボットの局所化（SLAM）、ビジョン（CNNベースのシーン理解）、音声認識をリアルタイムに統合する手法を提示しており、10Wの電力制限内で完全な機能を達成している。エネルギー効率を向上させるためにハイブリッドエッジ・クラウド処理を評価し、リアルタイム性能を維持している。

ABSTRACT

Robotics systems are complex, often consisted of basic services including SLAM for localization and mapping, Convolution Neural Networks for scene understanding, and Speech Recognition for user interaction, etc. Meanwhile, robots are mobile and usually have tight energy constraints, integrating these services onto an embedded platform with around 10 W of power consumption is critical to the proliferation of mobile robots. In this paper, we present a case study on integrating real-time localization, vision, and speech recognition services on a mobile SoC, Nvidia Jetson TX1, within about 10 W of power envelope. In addition, we explore whether offloading some of the services to cloud platform can lead to further energy efficiency while meeting the real-time requirements

研究の動機と目的

• モバイルで低消費電力の組み込みプラットフォーム上で、リアルタイムのSLAM、コンピュータビジョン、音声認識を統合すること。
• 厳密なエネルギー制約（10W）の下で、計算負荷の高いロボットサービスを展開する課題に対処すること。
• 処理の一部をクラウドにオフロードすることで、エネルギー効率が向上するか、リアルタイム応答性を損なわずに評価すること。
• 単一の組み込みSoC上で、実用的でエンドツーエンドのモバイルロボティクスシステムを実証すること。
• デバイス内実行とハイブリッドエッジ・クラウド実行の両方における、パフォーマンスとエネルギー効率の分析を提供すること。

提案手法

• すべてのコアなロボットサービスのデバイス内処理に、256コアGPUと8GBのRAMを備えたモバイルシステムオンチップ（SoC）であるNvidia Jetson TX1を活用する。
• リアルタイムの局所化とマッピングに、最新のSLAMアルゴリズム（例：ORB-SLAM）を採用する。
• リアルタイムのシーン理解と視覚的認識に、畳み込みニューラルネットワーク（CNN）を統合する。
• 人間とロボットの対話を可能にするために、ディープラーニングモデル（例：RNNやDNN）を用いた音声認識システムを実装する。
• 計算負荷の高いコンponents（例：特定のCNNレイヤーや音声デコード処理）を低遅延通信経由でクラウドサーバーにオフロードするハイブリッド処理パイプラインを設計する。
• さまざまなワークロードにおいて、リアルタイム準拠性とエネルギー効率を評価するために、システムのパフォーマンスと電力消費をモニタリングする。

実験結果

リサーチクエスチョン

• RQ1 10Wの組み込みプラットフォーム（例：Jetson TX1）上で、リアルタイムのロボットの局所化、ビジョン、音声認識を効果的に統合できるか？
• RQ2 すべてのサービスをデバイス内で実行する場合と、一部をクラウドにオフロードする場合の、パフォーマンスオーバーヘッドと遅延は何か？
• RQ3 クラウドオフロードにより、リアルタイム要件を満たしつつもエネルギー効率が向上するか？
• RQ4 SLAM、ビジョン、音声処理といった異なるワークロードが、Jetson TX1における全体の電力と遅延予算にどのように寄与するか？
• RQ5 エッジ・クラウドロボットシステムにおいて、計算負荷の分配、遅延、エネルギー消費の間にはどのようなトレードオフが存在するか？

主な発見

• Jetson TX1は、10Wの電力制限内で、リアルタイムのSLAM、CNNベースのビジョン、音声認識を同時に実行できることを確認した。
• デバイス内処理により、すべてのサービスでリアルタイム性能が達成され、重要なタスクのエンドツーエンド遅延は100ms未満であった。
• クラウドオフロードにより、特に高複雑度のCNN推論において、デバイス内でのエネルギー消費が最大30％削減された。
• 最適化された通信プロトコルを用いることで、ハイブリッドエッジ・クラウド実行は、遅延の増加が20ms未満に抑えられ、リアルタイム応答性を維持した。
• 長時間にわたり安定した動作を示し、モバイルロボティクス用途への適性を裏付けた。
• 統合は実現可能かつ効率的であり、戦略的なクラウド補完を用いることで、低消費電力の組み込みプラットフォーム上に、複雑なロボットの認識と対話機能を展開できることが示された。