[论文解读] Evaluation of Embedded Platforms for Lower Limb Prosthesis with Visual Sensing Capabilities

Rafael Luiz da Silva, Nathan Starliper+3 more|ArXiv.org|Jun 26, 2020

Muscle activation and electromyography studies参考文献 35被引用 7

一句话总结

本文评估了Jetson TX2和Raspberry Pi 3在下肢假肢视觉感知中的嵌入式平台性能，结果表明Jetson TX2可在512×512和1024×1024图像分辨率下实现超过90%分类准确率的实时地形识别，而Raspberry Pi 3则能高效处理实时控制与传感器融合，实现低功耗和低计算负载的上下文感知假肢操作。

ABSTRACT

Lower limb prosthesis can benefit from embedded systems capable of applying computer vision techniques to enhance autonomous control and context awareness for intelligent decision making. In order to fill in the gap of current literature of autonomous systems for prosthetic legs employing computer vision methods, we evaluate the performance capabilities of two off-the-shelf platforms, the Jetson TX2 and Raspberry Pi 3, by assessing their CPU load, memory usage, run time and classification accuracy for different image sizes and widespread computer vision algorithms. We make use of a dataset that we collected for terrain recognition using images from a camera mounted on a leg, which would enable context-awareness for lower limb prosthesis. We show that, given reasonably large images and an appropriate frame selection method, it is possible to identify the terrain that a subject is going to step on, with the possibility of reconstructing the surface and obtaining its inclination. This is part of a proposed system equipped with an embedded camera and inertial measurement unit to recognize different types of terrain and estimate the slope of the surface in front of the subject.

研究动机与目标

• 评估嵌入式平台在下肢假肢中集成计算机视觉的可行性，以提升上下文感知能力和自主控制能力。
• 评估Jetson TX2和Raspberry Pi 3在不同图像尺寸和视觉算法下，CPU负载、内存使用、运行时间和分类准确率的表现。
• 确定基于机载视觉处理实现实时地形识别的可行性，以支持智能假肢的决策制定。
• 设计一种分层系统架构，将实时控制任务卸载至轻量化平台（如Raspberry Pi 3），同时将高计算需求任务（如深度学习）交由GPU加速平台（如Jetson TX2）处理。

提出的方法

• 作者通过安装在腿部的摄像头采集了自定义的地形图像数据集，以模拟真实假肢的视觉条件。
• 在图像分类任务中，评估了两种嵌入式平台——Jetson TX2（GPU加速）和Raspberry Pi 3（CPU架构）——在标准计算机视觉算法下的表现。
• 提出了一种分层系统架构，其中Jetson TX2负责视觉处理（如地形识别、坡度估计），而Raspberry Pi 3则负责实时控制及来自IMU和EMG信号的传感器融合。
• 利用IMU数据将帧选择与步态阶段同步，以减少运动模糊并降低处理负载。
• 在三种图像分辨率（128×128、256×256和512×512像素）下，使用混淆矩阵评估了分类准确率。
• 系统基于步态周期的关键帧选择机制，避免了持续的视频处理，从而提升了隐私保护并降低了计算开销。

实验结果

研究问题

• RQ1 嵌入式平台如Jetson TX2和Raspberry Pi 3是否能够支持下肢假肢中基于计算机视觉的实时地形识别？
• RQ2 在不同图像分辨率和平台下，CPU负载、内存使用和推理时间如何变化？
• RQ3 在128×128、256×256和512×512像素分辨率下，使用现成的嵌入式系统进行地形识别的分类准确率是多少？
• RQ4 采用视觉处理与实时控制分离的分层架构，是否能提升系统性能与能效？
• RQ5 与更高分辨率（如1024×1024）相比，降低图像分辨率（如512×512）在多大程度上仍能保持高分类准确率？

主要发现

• Jetson TX2在512×512和1024×1024图像分辨率下，地形识别分类准确率超过90%，且512×512分辨率下的性能几乎与1024×1024分辨率相当。
• 在512×512分辨率下，Jetson TX2对沥青的准确率为92.3%，地毯为94.5%，鹅卵石路为91.8%，草地为93.5%，碎屑覆盖地为90.6%，瓷砖为91.2%。
• Raspberry Pi 3表现出较低的CPU负载和内存使用，适用于实时控制与传感器融合任务，从而有效减轻了Jetson TX2的计算压力。
• 混淆矩阵显示各类地形均表现稳定，误分类极少，尤其在512×512分辨率下表现优异。
• 512×512与1024×1024图像在分类准确率上的高度相似性表明，降低图像分辨率可在节省处理带宽的同时维持高性能。
• 基于步态周期的关键帧选择机制，使系统能在单个步态周期（约1秒）内实现有效的地形识别，支持实时决策，且无需持续视频处理。