[논문 리뷰] Evaluation of Embedded Platforms for Lower Limb Prosthesis with Visual Sensing Capabilities

Rafael Luiz da Silva, Nathan Starliper외 3명|ArXiv.org|2020. 06. 26.

Muscle activation and electromyography studies참고 문헌 35인용 수 7

한 줄 요약

이 논문은 하지 보철물에 시각 센서를 통합하기 위한 임베디드 플랫폼으로 Jetson TX2와 Raspberry Pi 3을 평가하며, Jetson TX2가 512×512 및 1024×1024 해상도에서 컴퓨터 비전을 사용해 실시간 지형 인식을 가능하게 하며 90% 이상의 분류 정확도를 달성하는 것을 입증한다. 반면 Raspberry Pi 3는 실시간 제어 및 센서 융합을 효율적으로 처리하여 전력 소모와 계산 부담을 줄이고 맥락 인식 기능을 갖춘 보철물 운영을 가능하게 한다.

ABSTRACT

Lower limb prosthesis can benefit from embedded systems capable of applying computer vision techniques to enhance autonomous control and context awareness for intelligent decision making. In order to fill in the gap of current literature of autonomous systems for prosthetic legs employing computer vision methods, we evaluate the performance capabilities of two off-the-shelf platforms, the Jetson TX2 and Raspberry Pi 3, by assessing their CPU load, memory usage, run time and classification accuracy for different image sizes and widespread computer vision algorithms. We make use of a dataset that we collected for terrain recognition using images from a camera mounted on a leg, which would enable context-awareness for lower limb prosthesis. We show that, given reasonably large images and an appropriate frame selection method, it is possible to identify the terrain that a subject is going to step on, with the possibility of reconstructing the surface and obtaining its inclination. This is part of a proposed system equipped with an embedded camera and inertial measurement unit to recognize different types of terrain and estimate the slope of the surface in front of the subject.

연구 동기 및 목표

• 컴퓨터 비전을 하지 보철물에 통합하기 위한 임베디드 플랫폼을 평가하여 맥락 인식 능력과 자율 제어 성능을 향상시키는 것.
• 다양한 이미지 크기와 비전 알고리즘에서 Jetson TX2와 Raspberry Pi 3의 CPU 부하, 메모리 사용량, 런타임 및 분류 정확도를 평가하는 것.
• 내장된 비전 처리를 통해 실시간 지형 인식의 가능성을 규명하여 지능형 보철물 의사결정에 기여하는 것.
• 실시간 제어를 경량 플랫폼(예: Raspberry Pi 3)에 위임하고 고성능 계산 작업(예: 딥러닝)은 GPU 가속 플랫폼(예: Jetson TX2)에 할당하는 계층적 시스템 아키텍처를 설계하는 것.

제안 방법

• 저자들은 실제 보철물의 시야 조건을 시뮬레이션하기 위해 다리에 카메라를 장착하여 자체 데이터셋을 수집하였다.
• 표준 컴퓨터 비전 알고리즘을 사용하여 이미지 분류 작업을 수행하기 위해 GPU 가속 플랫폼인 Jetson TX2와 CPU 기반 플랫폼인 Raspberry Pi 3를 평가하였다.
• 계층적 시스템 아키텍처를 제안하였으며, Jetson TX2는 시각 처리(예: 지형 인식, 경사도 추정)를 수행하고 Raspberry Pi 3는 자이로스코프 및 근전도(EMG) 신호에서 온라인 제어 및 센서 융합을 관리한다.
• 자이로스코프 데이터를 활용해 프레임 선택을 보행 주기와 동기화시켜 운동 흐릿함을 최소화하고 처리 부담을 감소시켰다.
• 혼동 행렬을 사용하여 세 가지 이미지 해상도(128×128, 256×256, 512×512 픽셀)에서 분류 정확도를 평가하였다.
• 보행 주기 기반 关键 프레임 선택 기법을 활용하여 지속적인 영상 처리를 방지함으로써 개인정보 보호를 향상시키고 계산 오버헤드를 줄였다.

실험 결과

연구 질문

• RQ1 Jetson TX2와 Raspberry Pi 3와 같은 임베디드 플랫폼이 컴퓨터 비전을 활용해 하지 보철물에서 실시간 지형 인식을 지원할 수 있는가?
• RQ2 다양한 이미지 해상도와 플랫폼 간에 CPU 부하, 메모리 사용량 및 추론 시간은 어떻게 변화하는가?
• RQ3 상용 임베디드 시스템을 사용할 때 128×128, 256×256, 512×512 픽셀 해상도에서 지형 인식의 분류 정확도는 얼마인가?
• RQ4 비전 처리와 실시간 제어를 별도의 플랫폼에 분할하는 계층적 아키텍처는 시스템 성능과 전력 효율성을 향상시킬 수 있는가?
• RQ5 512×512 해상도와 같은 감소된 이미지 해상도가 1024×1024 해상도와 비교해 높은 분류 정확도를 유지할 수 있는 정도는 어느 정도인가?

주요 결과

• Jetson TX2는 512×512 및 1024×1024 해상도에서 지형 인식에 대해 90% 이상의 분류 정확도를 달성하였으며, 512×512 해상도에서 1024×1024 해상도와 거의 동일한 성능을 보였다.
• 512×512 해상도에서 Asphalt는 92.3%, Carpet는 94.5%, Cobblestone는 91.8%, Grass는 93.5%, Mulch는 90.6%, Tile는 91.2%의 정확도를 기록하였다.
• Raspberry Pi 3는 낮은 CPU 부하와 메모리 사용량을 보이며 실시간 제어 및 센서 융합 작업에 적합하여 Jetson TX2의 계산 부담을 완화시켰다.
• 혼동 행렬 분석 결과 모든 지형 유형에서 일관된 성능을 보였으며, 특히 512×512 해상도에서 오분류가 극히 적었다.
• 512×512와 1024×1024 해상도 간의 분류 정확도 유사성은 해상도를 낮춰도 높은 성능을 유지할 수 있음을 시사하며 처리 대역폭 절약에 기여한다.
• 보행 주기 기반의 관건 프레임 선택 기법을 통해 약 1초 내의 단일 보행 주기 내에서 효과적인 지형 인식이 가능했으며, 지속적인 영상 처리 없이도 실시간 의사결정을 지원하였다.