[論文レビュー] Superhuman Surgical Peg Transfer Using Depth-Sensing and Deep Recurrent Neural Networks.

Minho Hwang, Brijen Thananjeyan+6 more|arXiv (Cornell University)|Dec 23, 2020

Surgical Simulation and Training参考文献 56被引用数 9

ひとこと要約

本論文は、da Vinci Research Kitを用いて深度センシングと深層再帰ニューラルネットワークを活用した完全自動化システムを提示し、ペグ転送タスクにおいて超人的な性能を達成した—94.1%の成功率と8.1秒の平均転送時間—、手渡しを含む最も困難なバージョンにおいて経験豊富な外科医レジident（93.2%の成功、8.6秒）を上回った。

ABSTRACT

We consider the automation of the well-known peg-transfer task from the Fundamentals of Laparoscopic Surgery (FLS). While human surgeons teleoperate robots to perform this task with great dexterity, it remains challenging to automate. We present an approach that leverages emerging innovations in depth sensing, deep learning, and Peiper's method for computing inverse kinematics with time-minimized joint motion. We use the da Vinci Research Kit (dVRK) surgical robot with a Zivid depth sensor, and automate three variants of the peg-transfer task: unilateral, bilateral without handovers, and bilateral with handovers. We use 3D-printed fiducial markers with depth sensing and a deep recurrent neural network to improve the precision of the dVRK to less than 1 mm. We report experimental results for 1800 block transfer trials. Results suggest that the fully automated system can outperform an experienced human surgical resident, who performs far better than untrained humans, in terms of both speed and success rate. For the most difficult variant of peg transfer (with handovers) we compare the performance of the surgical resident with performance of the automated system over 120 trials for each. The experienced surgical resident achieves success rate 93.2 % with mean transfer time of 8.6 seconds. The automated system achieves success rate 94.1 % with mean transfer time of 8.1 seconds. To our knowledge this is the first fully automated system to achieve superhuman performance in both speed and success on peg transfer. Supplementary material is available at this https URL

研究の動機と目的

• ロボット工学的およびセンシング技術を用いて、腹腔鏡外科学の基礎（Fundamentals of Laparoscopic Surgery）におけるペグ転送タスクを自動化すること。
• 3Dプリントされたフィducialマーカーと深度センシングを用いて、ロボットの精度を1 mm未満に向上させること。
• 手渡しを含む最も複雑なペグ転送バージョンにおいて、速度と成功確率の両面で超人的な性能を達成すること。
• Peiperの逆運動学法を深層学習と統合し、時間最小化で洗練された運動制御を実現すること。

提案手法

• 本システムはZivid深度センサーと3Dプリントされたフィducialマーカーを用い、手術用ツールおよびペグの高精度な3次元ポーズ推定を実現している。
• 深層再帰ニューラルネットワークが順次的な深度データを処理し、ツールおよびペグの位置を1 mm未塔の精度で予測している。
• dVRKロボットの時間最小化された関節軌道を生成するために、Peiperの方法を用いて逆運動学を計算している。
• 本システムは3つのペグ転送バージョンを自動化している：単側、手渡しなしの両側、および手渡しを含む両側。
• 再帰ネットワークから得た学習済み運動ポリシーと深度センシングデータを融合することで、リアルタイム制御を実現している。
• 直接的人間-ロボット比較のため、1800回のブロック転送試行（各被験者120試行）を用いて、本手法の妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのシステムは、ペグ転送タスクにおいて、速度と成功確率の両面で超人的な性能を達成できるか？
• RQ2 深度センシングと再帰ニューラルネットワークの統合は、1 mm未満のロボット精度を向上させる上でどのように寄与するか？
• RQ3 本システムは、手渡しを含む最も複雑なペグ転送バージョンにおいて、経験豊富な人間の外科医レジidentを上回ることができるか？
• RQ4 時間最小化された逆運動学の統合は、タスク完了速度と耐障害性にどのような影響を与えるか？

主な発見

• 完全自動化システムは、手渡しを含む両側ペグ転送タスクにおいて、94.1%の成功率と8.1秒の平均転送時間を達成した。
• 経験豊富な外科医レジidentは、同じ条件下で93.2%の成功率と8.6秒の平均転送時間を記録した。
• 完全自動化システムは、成功確率と速度の両面で人間レジidentを上回り、超人的な性能を示した。
• 本システムは、すべてのタスクバージョンにおいて、深度センシングと3Dプリントされたフィducialマーカーを用いて1 mm未塔の精度を維持した。
• 深層再帰ニューラルネットワークは、ツールおよびペグの運動における時間的ダイナミクスを効果的に捉え、正確なリアルタイム制御を可能にした。
• Peiperの逆運動学法の統合により、時間最小化で滑らかな関節軌道が実現され、タスク完了の高速化に寄与した。