[論文レビュー] Evaluation of Embedded Platforms for Lower Limb Prosthesis with Visual Sensing Capabilities

Rafael Luiz da Silva, Nathan Starliper+3 more|ArXiv.org|Jun 26, 2020

Muscle activation and electromyography studies参考文献 35被引用数 7

ひとこと要約

本稿は、視覚センシングを備えた下肢義足における埋め込みプラットフォームとしてのJetson TX2とRaspberry Pi 3を評価し、512×512および1024×1024画素解像度でコンピュータビジョンを用いたリアルタイムの地形認識を実現できることが示された。Jetson TX2では90%を超える分類精度を達成した。一方、Raspberry Pi 3はリアルタイム制御とセンサーフュージョンを効率的に行い、低消費電力かつ低計算負荷で文脈に応じた義足操作を可能にした。

ABSTRACT

Lower limb prosthesis can benefit from embedded systems capable of applying computer vision techniques to enhance autonomous control and context awareness for intelligent decision making. In order to fill in the gap of current literature of autonomous systems for prosthetic legs employing computer vision methods, we evaluate the performance capabilities of two off-the-shelf platforms, the Jetson TX2 and Raspberry Pi 3, by assessing their CPU load, memory usage, run time and classification accuracy for different image sizes and widespread computer vision algorithms. We make use of a dataset that we collected for terrain recognition using images from a camera mounted on a leg, which would enable context-awareness for lower limb prosthesis. We show that, given reasonably large images and an appropriate frame selection method, it is possible to identify the terrain that a subject is going to step on, with the possibility of reconstructing the surface and obtaining its inclination. This is part of a proposed system equipped with an embedded camera and inertial measurement unit to recognize different types of terrain and estimate the slope of the surface in front of the subject.

研究の動機と目的

• コンピュータビジョンを下肢義足に統合し、文脈認識能力と自律制御を向上させる埋め込みプラットフォームの評価。
• 異なる画像サイズおよびビジョンアルゴリズムを用いた、Jetson TX2およびRaspberry Pi 3のCPU負荷、メモリ使用量、実行時間、分類精度の評価。
• オンボードのビジョン処理を用いたリアルタイムの地形認識の可能性の検証。
• リアルタイム制御を軽量なプラットフォーム（例：Raspberry Pi 3）に、高計算負荷のタスク（例：ディープラーニング）をGPUアクセラレータ搭載プラットフォーム（例：Jetson TX2）に分担する階層的システムアーキテクチャの設計。

提案手法

• 著者らは、義足の視認状況を再現するため、脚に取り付けたカメラを用いて独自の地形画像データセットを収集した。
• 標準的なコンピュータビジョンアルゴリズムを用いて、画像分類タスクにおいてGPUアクセラレートされたJetson TX2（GPU搭載）とCPUベースのRaspberry Pi 3の両方を評価した。
• 階層的システムアーキテクチャを提案した。このアーキテクチャでは、Jetson TX2が視覚処理（例：地形認識、傾斜推定）を担当し、Raspberry Pi 3がIMUおよびEMG信号からのセンサーフュージョンとリアルタイム制御を管理する。
• 歩行サイクルに同期したフレーム選択により、動きのぼやけを低減し、処理負荷を軽減した。
• 分類精度は、128×128、256×256、512×512ピクセルの3つの画像解像度で混同行列を用いて評価した。
• 歩行サイクルに基づくキーフレーム選択により、連続的な動画処理を回避し、プライバシー保護と計算オーバーヘッドの低減を実現した。

実験結果

リサーチクエスチョン

• RQ1 Jetson TX2 や Raspberry Pi 3 といった埋め込みプラットフォームは、コンピュータビジョンを用いて下肢義足でリアルタイムの地形認識を実現できるか？
• RQ2 異なる画像解像度およびプラットフォームにおいて、CPU負荷、メモリ使用量、推論時間はどのように変化するか？
• RQ3 市販の埋め込みシステムを用いた場合、128×128、256×256、512×512ピクセル解像度での地形認識の分類精度はどの程度か？
• RQ4 ビジョン処理とリアルタイム制御に別々のプラットフォームを割り当てる階層的アーキテクチャは、システム性能と電力効率を向上させられるか？
• RQ5 512×512解像度といった低解像度にすることで、1024×1024解像度と比較して、分類精度をどれほど維持できるか？

主な発見

• Jetson TX2は、512×512および1024×1024画素解像度において90%を超える分類精度を達成した。512×512解像度では1024×1024解像度とほぼ同等の性能を示した。
• 512×512解像度において、アスファルトが92.3%、カーペットが94.5%、玄関タイル（コブレストーン）が91.8%、芝生が93.5%、マルチング（マルチング材）が90.6%、タイルが91.2%の分類精度を達成した。
• Raspberry Pi 3は低CPU負荷と低メモリ使用量を示し、リアルタイム制御とセンサーフュージョンタスクに適していた。これにより、Jetson TX2の計算負荷が軽減された。
• 混同行列の結果、すべての地形タイプで一貫した性能が得られ、特に512×512解像度では誤分類が最小限に抑えられた。
• 512×512と1024×1024の間で分類精度に類似性が見られたことから、画像解像度を低くすることで処理帯域を節約しつつも、高い性能を維持できることが示された。
• 歩行サイクルに基づくキーフレーム選択により、1つの歩行サイクル（約1秒）のうちに効果的な地形認識が可能になり、連続的な動画処理を避けながらリアルタイム意思決定を支援した。