[論文レビュー] Towards Autonomous Eye Surgery by Combining Deep Imitation Learning with Optimal Control

Ji Woong Kim, Peiyao Zhang+3 more|PubMed|Nov 16, 2020

Soft Robotics and Applications被引用数 8

ひとこと要約

本論文は、深層模倣学習と最適制御を組み合わせたハイブリッドフレームワークを提案し、網膜マイクロサージェリーにおける自律ナビゲーションを実現する。視覚ベースのネットワークを用いて2次元のユーザークリックから3次元のゴール位置を予測し、微分動的プログラミングを用いて安全で最適な軌道を生成することで、0.072mm（xy誤差）のサブミリメートルオーダーの精度を達成し、人間の外科医の手の震え（0.180mm）を上回り、多様なアイ・フィンガープリンティングと未知の物体に対して安全制約を維持する。

ABSTRACT

During retinal microsurgery, precise manipulation of the delicate retinal tissue is required for positive surgical outcome. However, accurate manipulation and navigation of surgical tools remain difficult due to a constrained workspace and the top-down view during the surgery, which limits the surgeon's ability to estimate depth. To alleviate such difficulty, we propose to automate the tool-navigation task by learning to predict relative goal position on the retinal surface from the current tool-tip position. Given an estimated target on the retina, we generate an optimal trajectory leading to the predicted goal while imposing safety-related physical constraints aimed to minimize tissue damage. As an extended task, we generate goal predictions to various points across the retina to localize eye geometry and further generate safe trajectories within the estimated confines. Through experiments in both simulation and with several eye phantoms, we demonstrate that our framework can permit navigation to various points on the retina within 0.089mm and 0.118mm in xy error which is less than the human's surgeon mean tremor at the tool-tip of 0.180mm. All safety constraints were fulfilled and the algorithm was robust to previously unseen eyes as well as unseen objects in the scene. Live video demonstration is available here: https://youtu.be/n5j5jCCelXk.

研究の動機と目的

• トップダウン視点による限られた深度認識のため、網膜マイクロサージェリーにおける器具の正確なナビゲーションを困難にする課題に対処すること。
• 視覚的ヒントを用いてゴール予測と軌道計画を自動化することで、外科医の経験に依存するのを減らすこと。
• sclera 点のずれや網膜への衝突回避といった物理的制約を強制することで、手術の安全性を確保すること。
• 視覚データから網膜の幾何構造を再構築し、血管追従などの延長タスクを可能にすること。
• 眼の解剖学的変異や画像条件の変化、未知の物体に対しての耐性を検証すること。

提案手法

• 深層模倣学習ネットワークが、2次元のトップダウン単眼動画入力とユーザー指定のクリックから、3次元の相対的ゴール位置（距離と方向）を予測する。
• ネットワークはエキスパートのデモを用いて訓練され、視覚入力と2次元ゴールクリックを3次元空間的予測にマッピングする。この際、器具の影の動きを深度の手がかりとして活用する。
• 微分動的プログラミング（DDP）に基づく最適制御フレームワークが、予測されたゴールへ向かう滑らかで安全な軌道を生成し、 sclera 点からのずれを最小限に抑える。
• sclera 制約は、器具軸が sclera ポートから横方向にずれるのをペナルティ関数で抑制することで強制される。
• 網膜の幾何構造は、網膜上の複数の点におけるゴール予測を集約することで再構築され、推定された眼の境界内での安全なナビゲーションを可能にする。
• 血管追従タスクでは、軌道が推定された網膜表面から0.2mm以上上に保たれるように制約を課す。

実験結果

リサーチクエスチョン

• RQ1 単眼手術視点において、2次元のユーザークリックから網膜上に3次元のゴール位置を正確に予測できるか？
• RQ2 最適制御が、sclera 点のずれや網膜への衝突といった物理的制約を尊重する安全で滑らかな軌道を生成できるか？
• RQ3 ナビゲーション中に、手術器具などの未知の物体が存在する状況でも、システムの性能はどのように保たれるか？
• RQ4 視覚データから網膜の幾何構造をどの程度再構築できるか。これにより、自律ナビゲーションや血管追従が可能になるか？
• RQ5 フレームワークは、人間の外科医の手の震えよりも器具先端の位置決め精度を高められるか？

主な発見

• フィンガープリンティング実験において、網膜上に事前に定義された50点を標的にした場合、平均ナビゲーション誤差はx方向で0.072mm、y方向で0.130mmを記録した。
• 干渉用のピンセットが存在する状況でも、ナビゲーション誤差はわずかに増加し、x方向で0.089mm、y方向で0.118mmにとどまり、未知の物体に対して高い耐性を示した。
• 眼の幾何構造推定では、中心位置の誤差がx方向0.53mm、y方向0.084mm、z方向0.292mmであり、半径推定誤差は0.152mmであった。
• 血管追従タスクでは、軌道追従誤差がx方向0.002mm、y方向0.003mm、z方向0.006mmであり、平均sclera誤差は0.059mmであった。これにより、高い精度と安全性が確認された。
• すべての軌道が安全制約を満たしており、全タスクにおいて最大平均sclera誤差が0.704mmであったが、安全限界内にあった。
• シミュレーション結果ではナビゲーション誤差が0.119mmであった。これは理想的な条件ではあるが、実世界への展開の可能性を示している。