[論文レビュー] Robotic Sewing and Knot Tying for Personalized Stent Graft Manufacturing

Yang Hu, Lin Zhang+2 more|arXiv (Cornell University)|Mar 22, 2018

Anatomy and Medical Technology参考文献 15被引用数 3

ひとこと要約

本論文は、独自のデュアルアーム構成と閉ループビジョナルサーボイングを備えた視覚誘導型ロボットシーディングシステムを提案し、個人化されたステントグラフトの自動的で高精度なシーディングを実現する。2–5 mmのサブミリメートルスティッチ精度を達成し、新規のスレッドマニピュレータを用いて連続したオーバーハンドノット結びを可能にし、手動または従来の自動化手法に比べて信頼性を著しく向上させる。

ABSTRACT

This paper presents a versatile robotic system for sewing 3D structured object. Leveraging on using a customized robotic sewing device and closed-loop visual servoing control, an all-in-one solution for sewing personalized stent graft is demonstrated. Stitch size planning and automatic knot tying are proposed as the two key functions of the system. By using effective stitch size planning, sub-millimetre sewing accuracy is achieved for stitch sizes ranging from 2mm to 5mm. In addition, a thread manipulator for thread management and tension control is also proposed to perform successive knot tying to secure each stitch. Detailed laboratory experiments have been performed to access the proposed instruments and allied algorithms. The proposed framework can be generalised to a wide range of applications including 3D industrial sewing, as well as transferred to other clinical areas such as surgical suturing.

研究の動機と目的

• 血管内瘤塞閉術に用いられる、手作業で作成される個人化されたステントグラフトの高コストと長時間の納期を解消すること。
• 従来の自動化シーディングシステムが平面の表面や特定のステッチタイプに限定され、針の取り扱いの問題により低成功率にとどまっているという制限を克服すること。
• ステントグラフトのような複雑な3次元解剖的構造に対して、さまざまなシーディング作業（ステッチの連続とノット結び）を実行できる、多様性に富んだ自動ロボットシステムを開発すること。
• 各ステッチを固定するための自動的で繰り返し可能なノット結びを可能にすることで、ステントグラフト製造における信頼性と一貫性を向上させること。
• 本システムを、3次元産業用シーディングや最小侵襲外科における縫合に広く応用可能な一般化可能なフレームワークにすること。

提案手法

• デュアルアームロボットシステムは、グローバルな位置決めにABB YuMi® ロボットを、局所的な針操作にカスタムロボットシーディング装置を統合する。
• RGBD深度センシングを用いた閉ループビジョナルサーボイングにより、ターゲット生地に対するシーディング装置のリアルタイムで高精度な位置決めが可能になる。
• トラジェクトリープランニングアルゴリズムにより、針の経路とステッチサイズ（2–5 mm）を調整し、さまざまなステッチ寸法においてもサブミリメートルの精度を達成する。
• 力センシングを備えた専用スレッドマニピュレータにより、スレッドを切らずに連続したオーバーハンドノット結びが可能になり、一定の張力とノットの安全性が保証される。
• スレッドが中央に取り付けられた二重先端カーブドニードルを採用することで、従来のニードルホルダーシステムで一般的に見られるニードル落下のリスクが排除される。
• マーカーレストラッキングと深度カメラフィードバック（640×480解像度）を用いてステッチを誘導し、将来的に高解像度センサにアップグレードする可能性を有する。

実験結果

リサーチクエスチョン

• RQ1 視覚サーボイングとカスタムハードウェアを用いたロボットシステムは、ステントグラフトのような3次元構造物に対してサブミリメートルの精度でシーディングを達成できるか？
• RQ2 1台のロボットシステムが、さまざまなサイズのステッチと連続的なノット結びを、複雑な解剖的グラフトに対して実行できるか？
• RQ3 力センシングを備えたスレッドマニピュレータの統合は、ステントグラフト製造における自動ノット結びの信頼性と一貫性をどのように向上させるか？
• RQ4 現在の深度センシングとビジョアルフィードバックにおける主な制限要因は何か。また、システム設計とハードウェアのアップグレードによってそれらをどのように緩和できるか？
• RQ5 このロボットシーディングフレームワークは、外科的縫合や産業用3次元ファブリックシーディングなどの他の臨床的応用にどの程度一般化可能か？

主な発見

• 本システムは、2 mm から 5 mm のステッチサイズの範囲でサブミリメートルのシーディング精度を達成し、3次元構造物のシーディングにおいて高い精度を示した。
• カスタムシーディング装置により、16秒という標準的なスイッチング時間で信頼性の高いニードル取り扱いが可能になり、従来のニードルホルダーシステムに比べてニードル落下のリスクが低減された。
• スレッドマニピュレータは、スレッドを切らずに連続したオーバーハンドノット結びを成功裏に実行し、各ステッチに対して安全で一貫性のあるノットを適用可能となった。
• 本システムは、ステントグラフトプロトタイプにおいて、走線ステッチとノット結びの両方を自律的に実行し、商業的ハンドメイドグラフトと同等の結果を示した。
• スレッドの弾性と最適でない引き方向がノットの締まり具合に影響を与えるという制限要因が特定されたが、最適化されたノット結びの運動学的設計とハードウェアのアップグレードにより、将来的に性能が向上すると予想される。
• RGBDベースのビジョナルサーボイングにより、正確な装置位置決めが可能であるが、深度解像度と点群のノイズは依然として課題であり、将来的な高解像度カメラへのアップグレードによりこれらを緩和できる。