[論文レビュー] Fast and Reliable Autonomous Surgical Debridement with Cable-Driven Robots Using a Two-Phase Calibration Procedure

Daniel Seita, Sanjay Krishnan+4 more|arXiv (Cornell University)|Sep 19, 2017

Soft Robotics and Applications参考文献 19被引用数 4

ひとこと要約

本稿では、粗い誤差補正に深層ニューラルネットワーク（DNN）を、微調整にランダムフォレスト（RF）を組み合わせた二段階キャリブレーション手法を提案する。これにより、平均位置誤差を4.55mmから1.08mmに低減した。この手法により、レーズンやパンプキンシードのような小さな破片の自動的でブリーディングが94.5%の成功率で実現され、先行研究と比較して2.1倍の高速化が達成された。

ABSTRACT

Automating precision subtasks such as debridement (removing dead or diseased tissue fragments) with Robotic Surgical Assistants (RSAs) such as the da Vinci Research Kit (dVRK) is challenging due to inherent non-linearities in cable-driven systems. We propose and evaluate a novel two-phase coarse-to-fine calibration method. In Phase I (coarse), we place a red calibration marker on the end effector and let it randomly move through a set of open-loop trajectories to obtain a large sample set of camera pixels and internal robot end-effector configurations. This coarse data is then used to train a Deep Neural Network (DNN) to learn the coarse transformation bias. In Phase II (fine), the bias from Phase I is applied to move the end-effector toward a small set of specific target points on a printed sheet. For each target, a human operator manually adjusts the end-effector position by direct contact (not through teleoperation) and the residual compensation bias is recorded. This fine data is then used to train a Random Forest (RF) to learn the fine transformation bias. Subsequent experiments suggest that without calibration, position errors average 4.55mm. Phase I can reduce average error to 2.14mm and the combination of Phase I and Phase II can reduces average error to 1.08mm. We apply these results to debridement of raisins and pumpkin seeds as fragment phantoms. Using an endoscopic stereo camera with standard edge detection, experiments with 120 trials achieved average success rates of 94.5%, exceeding prior results with much larger fragments (89.4%) and achieving a speedup of 2.1x, decreasing time per fragment from 15.8 seconds to 7.3 seconds. Source code, data, and videos are available at https://sites.google.com/view/calib-icra/.

研究の動機と目的

• ケーブルの伸びやヒステリシスによる非線形な位置誤差が生じるケーブル駆動型手術用ロボットアシスタント（例：dVRK）における課題に対処すること。
• 複雑なハードウェアや広範な手動チューニングを必要としない、コスト効果的でオフラインのキャリブレーション手順を構築し、位置精度を向上させること。
• つかみにくく滑らかな小さな破片（例：レーズン、パンプキンシード）を信頼性高く自動で除去できるようにすること。
• 先行の自動的でブリーディングシステムと比較して、より高速な実行速度を達成すること。1回の破片処理時間を15.8秒から7.3秒に短縮すること。

提案手法

• 第1段階では、赤テープを貼ったdVRKエンドエフェクタが、ステレオカメラが位置と姿勢を記録するオープンループのランダムな軌道を走行し、内部のジョイントセンサがベースフレームの構成を記録する。
• 深層ニューラルネットワーク（DNN）を訓練し、カメラによるピクセル位置と離散化されたSO(3)回転を、予測されたベースフレーム位置にマップさせる。これにより、粗い変換バイアスを学習する。
• 第2段階では、DNNで予測された位置を基に、ロボットを印刷されたキャリブレーショングリッド上の特定のターゲットポイントへ移動させ、人間のオペレータがエンドエフェクタを真の位置に手動で補正する。
• 第2段階の残差誤差を用いて、より高精度な補正バイアスを学習するランダムフォレスト（RF）モデルを訓練する。
• DNN+RFのパイプラインを、エンドスコープ画像における破片の検出にエッジ検出を用いた自動的でブリーディングタスクに適用する。
• システムはグリッパーを用いて破片を回収し、フレーム単位でモーションフェーズを分析して、実行速度のボトルネックを同定する。

実験結果

リサーチクエスチョン

• RQ1 DNNとRFの学習を組み合わせた二段階キャリブレーション手順により、ケーブル駆動型手術用ロボットの位置誤差を1mm未満に低減できるか？
• RQ2 提案されたキャリブレーション手法により、レーズンやパンプキンシードのような小さな低摩擦破片の信頼性ある自動的でブリーディングが可能になるか？
• RQ3 先行の自動的でブリーディングシステムと比較して、より高速な実行速度を達成できるか？（大きな破片に比べて、より要求の厳しい破片を処理する場合）
• RQ4 DNNとRFの組み合わせが、DNN単体または剛体変換キャリブレーションと比較して、性能をどのように向上させるか？
• RQ5 破片の性質（例：弾性率、表面の粗さ）が、誤差率や自動的でブリーディングの成功率にどの程度影響を与えるか？

主な発見

• キャリブレーションなしでは、dVRKの平均位置誤差は4.55mmであったが、第1段階（DNN単体）のキャリブレーション後には2.14mmに低減した。
• DNN+RFの二段階キャリブレーションにより、平均誤差は1.08mmにまで低減され、ミリメートル未満の精度が達成された。
• 120回の試行において、レーズンやパンプキンシードの除去に94.5%の成功率を達成し、先行研究の大きな破片処理を上回った。
• 1回の破片処理の平均時間は7.3秒に短縮され、先行研究の15.8秒/回と比較して2.1倍の高速化が達成された。
• 「抽出不能」エラー（タイプA）は、DNN単体では28.33%（120回中4回）であったが、DNN+RFでは0.83%（120回中1回）にまで低減され、信頼性の著しい向上が示された。
• フレーム単位の分析から、「コンテナへ移動」および「ドロップ＆ローテート」フェーズが最も遅く、さらなる速度最適化の余地があることが明らかになった。