[논문 리뷰] Robotic Sewing and Knot Tying for Personalized Stent Graft Manufacturing

Yang Hu, Lin Zhang외 2명|arXiv (Cornell University)|2018. 03. 22.

Anatomy and Medical Technology참고 문헌 15인용 수 3

한 줄 요약

이 논문은 개인 맞춤 stent graft의 자동 고정밀 봉제를 위한 시각 유도 로봇 봉제 시스템을 제시한다. 특수 이중 암 구조와 피드백 기반 시각 서보 제어를 통해 실현되며, 2–5 mm 이내의 초미세 봉제 정밀도를 달성하고, 새로운 스레드 조작 장치를 통해 연속적인 오버핸드 풀 끈 매기 기능을 제공한다. 이는 수동 또는 기존 자동화 방법에 비해 신뢰성을 크게 향상시킨다.

ABSTRACT

This paper presents a versatile robotic system for sewing 3D structured object. Leveraging on using a customized robotic sewing device and closed-loop visual servoing control, an all-in-one solution for sewing personalized stent graft is demonstrated. Stitch size planning and automatic knot tying are proposed as the two key functions of the system. By using effective stitch size planning, sub-millimetre sewing accuracy is achieved for stitch sizes ranging from 2mm to 5mm. In addition, a thread manipulator for thread management and tension control is also proposed to perform successive knot tying to secure each stitch. Detailed laboratory experiments have been performed to access the proposed instruments and allied algorithms. The proposed framework can be generalised to a wide range of applications including 3D industrial sewing, as well as transferred to other clinical areas such as surgical suturing.

연구 동기 및 목표

• 내시적aneurysm 복원술에 사용되는 수제 제작 개인 맞춤 stent graft의 높은 비용과 긴 제작 소요 시간 문제를 해결하기 위해.
• 기존 자동 봉제 시스템이 평면 표면, 특정 봉제 유형에 국한되거나 바늘 다루기 문제로 인해 낮은 성공률을 보이는 한계를 극복하기 위해.
• 복잡한 3차원 해부학적 구조물인 stent graft에 대해 다양한 봉제 작업—연속 봉제와 풀 끈 매기—을 수행할 수 있는 유연한 자동 로봇 시스템을 개발하기 위해.
• 각 봉제를 안정적으로 고정하기 위해 자동 반복 가능한 풀 끈 매기 기능을 통해 stent graft 제조의 신뢰성과 일관성을 향상시키기 위해.
• 이 시스템을 3차원 산업용 봉제 및 최소 침습 수술 봉합 등 더 넓은 분야에 일반화하기 위해.

제안 방법

• 이중 암 로봇 시스템은 ABB YuMi® 로봇을 통해 전역 위치를 제어하고, 특수 로봇 봉제 장치를 통해 국소 바늘 조작을 수행한다.
• RGBD 깊이 센서를 활용한 피드백 기반 시각 서보 제어로, 목표 직물에 대한 봉제 장치의 실시간 정확한 위치 조절이 가능하다.
• 경로 계획 알고리즘을 통해 바늘 경로와 봉제 크기(2–5 mm)를 조절하여 다양한 봉제 크기에서 초미세 정밀도를 달성한다.
• 힘 감지 기능을 갖춘 전용 스레드 조작 장치를 통해 스레드를 자르지 않고도 연속적인 오버핸드 풀 끈 매기 기능을 수행하며, 일관된 긴장력과 고정력을 확보한다.
• 양끝이 뾰족한 곡선 바늘을 사용하며 스레드를 중심에 고정함으로써 전통적인 바늘 홀더 시스템에서 흔히 발생하는 바늘 떨어짐 위험을 제거한다.
• 마커리스 추적과 깊이 카메라 피드백(640×480 해상도)을 활용해 봉제를 안내하며, 향후 고해상도 센서로의 업그레이드 가능성을 고려한다.

실험 결과

연구 질문

• RQ1 시각 서보 제어와 특수 하드웨어를 활용한 로봇 시스템이 stent graft와 같은 3차원 구조물에 대해 초미세 정밀도 봉제를 달성할 수 있는가?
• RQ2 단일 로봇 시스템이 복잡한 해부학적 graft에 대해 다양한 크기의 연속 봉제와 연속적인 풀 끈 매기 기능을 동시에 수행할 수 있는가?
• RQ3 힘 감지 기능을 갖춘 스레드 조작 장치의 통합이 stent graft 제조에서 자동 풀 끈 매기의 신뢰성과 일관성에 어떻게 기여하는가?
• RQ4 현재 깊이 센서와 시각 피드백의 핵심 한계는 무엇이며, 시스템 설계 및 하드웨어 업그레이드를 통해 이를 어떻게 보완할 수 있는가?
• RQ5 이 로봇 봉제 프레임워크는 수술 봉합 또는 산업용 3차원 천 봉제 등 다른 임상적 적용 분야로 얼마나 일반화될 수 있는가?

주요 결과

• 시스템은 2 mm에서 5 mm까지 다양해지는 봉제 크기 범위에서 초미세 정밀도를 확보하며, 3차원 구조물 봉제에 높은 정밀도를 입증하였다.
• 특수 봉제 장치를 통해 평균 16초의 교체 시간으로 안정적인 바늘 다루기가 가능해져 기존 바늘 홀더 방식 대비 바늘 떨어짐 위험을 감소시켰다.
• 스레드 조작 장치는 스레드를 자르지 않고도 연속적인 오버핸드 풀 끈 매기 기능을 성공적으로 수행하여 각 봉제에 대해 안정적이고 견고한 고정을 가능하게 하였다.
• 시스템은 stent graft 프로토타입에서 연속 봉제와 풀 끈 매기 기능을 자율적으로 성공적으로 수행하였으며, 상용 수제 graft와 유사한 결과를 보였다.
• 탄성 스레드로 인한 풀 끈의 타이트함 부족과 최적화되지 않은 당김 방향 문제로 한계가 확인되었지만, 향후 풀 끈 매기 운동학 최적화 및 하드웨어 업그레이드로 성능 향상이 기대된다.
• RGBD 기반 시각 서보 제어를 통해 정확한 장치 위치 조절이 가능했지만, 깊이 해상도 및 포인트 클라우드 노이즈 문제로 인해 도전 과제가 남아 있으며, 향후 고해상도 카메라로의 교체로 이를 보완할 수 있다.