[論文レビュー] SuPerPM: A Surgical Perception Framework Based on Deep Point Matching Learned from Physical Constrained Simulation Data

Shan Lin, Albert J. Miao+6 more|arXiv (Cornell University)|Sep 25, 2023

3D Shape Modeling and AnalysisEngineering被引用数 3

ひとこと要約

SuPerPM は、従来の ICP に依存するデータ関連付けの代わりに微調整されたポイントクラウドマッチングモデルを採用することで、大きな変形下での組織追跡を向上させる深層学習ベースの外科学的認識フレームワークを提案する。位置ベースダイナミクスを用いて物理的に制約されたシミュレーションデータ上で訓練された SuPerPM は、特に著しく変形したシーンにおいて、最先端の手法と比較して優れた追跡精度と高密度再構築を達成する。

ABSTRACT

A major source of endoscopic tissue tracking errors during deformations stems from wrong data association between observed sensor measurements with previously tracked scene. To mitigate this issue, we present a surgical perception framework, SuPerPM, that leverages learning-based non-rigid point cloud matching for data association, thus accommodating larger deformations than previous approaches which relied on Iterative Closest Point (ICP) for point associations. The learning models typically require training data with ground truth point cloud correspondences, which is challenging or even impractical to collect in surgical environments. Thus, for tuning the learning model, we gather endoscopic data of soft tissue being manipulated by a surgical robot and then establish correspondences between point clouds at different time points to serve as ground truth. This was achieved by employing a position-based dynamics (PBD) simulation to ensure that the correspondences adhered to physical constraints. The proposed framework is demonstrated on several challenging surgical datasets that are characterized by large deformations, achieving superior performance over advanced surgical scene tracking algorithms.

研究の動機と目的

• 大きな組織変形下での外科学的シーン追跡における不正確なデータ関連付けの課題に対処すること。
• 学習ベースのポイントクラウドマッチングモデルの学習に必要な高密度かつ正確な真値対応関係が、実際の外科学的データに不足しているという問題を克服すること。
• 深層学習を用いて、内視鏡外科学的シーンにおける非剛体組織追跡の頑健性と正確性を向上させること。
• 物理的に制約された現実的なポイントクラウドペアを生成するシミュレーションベースのパイプラインを開発すること。
• シミュレーションデータでの微調整が、実際の外科学的データセットにおける性能を顕著に向上させることを実証すること。

提案手法

• SuPer 外科学的認識フレームワークに学習ベースの非剛体ポイントクラウドマッチングモデル（Lepard）を統合し、データ関連付けに ICP を置き換える。
• 位置ベースダイナミクス（PBD）シミュレーションを用いて、合成的で物理的に妥当な組織変形を生成し、変形したポイントクラウドペア間の真値対応関係を確立する。
• PBD シミュレーションから生成された合成ポイントクラウドペアを用いて、事前に学習済みの Lepard モデルを微調整し、実際の外科学的変形特性に一致させる。
• 2段階の最適化を採用する：まず、微調整済みの Lepard モデルが対応関係を予測し、次に SuPer フレームワークがそれらを用いて剛体および非剛体変換を推定する。
• 学習された対応関係を活用する微分可能で ICP に類似したコスト関数を採用し、追跡および再構築の正確性を向上させる。
• 論文公開時にデータセットとコードを公開し、再現可能性および今後の研究を支援する。

実験結果

リサーチクエスチョン

• RQ1 物理的にシミュレートされたデータで訓練された学習ベースのポイントクラウドマッチングモデルは、大きな変形下での外科学的シーン追跡におけるデータ関連付けの頑健性を向上させることができるか？
• RQ2 シミュレーション生成データで事前に学習済みのポイントクラウドマッチングモデルを微調整することで、実際の外科学的内視鏡シーケンスにおける追跡精度にどのような影響を与えるか？
• RQ3 提案されたシミュレーションベースのデータ生成パイプラインが、実際の外科学的組織変形に一般化可能な対応関係をどれほど効果的に生成できるか？
• RQ4 大きな変形下において、SuPerPM は DefSLAM や SD-DefSLAM といった最先端の手法と比較して、追跡精度および再構築品質で優れているか？
• RQ5 認識フレームワーク内での対応関係モデルのエンドツーエンド訓練が、さらなる性能向上をもたらすか？

主な発見

• SuPerPM はベースラインの SuPer と比較して再投影誤差を顕著に低減し、追跡精度の向上を示している。
• 微調整済みの Lepard モデルは、すべてのテストシーケンスにおいて事前学習済みモデルよりも一貫して低い再投影誤差を達成しており、特に著しく変形したシーン（SupDef-T2 および SupDef-T3）で顕著である。
• SuPerPM はすべてのシーケンスで SD-DefSLAM を上回り、DefSLAM がスパarsely robustな特徴のみを用いているにもかかわらず、その性能を同等または上回っている。
• 微調整済みの Lepard モデルは、事前学習済みモデルと比較して、質的比較においてより高密度かつ一貫性のあるポイント対応関係を生成している。
• シミュレーションベースのデータ生成パイプラインは、実際の外科学的データへの一般化を向上させるために、現実的で物理的に制約された対応関係を効果的に生成した。
• 改善が見られたが、微調整済みモデルは依然として一部のノイズのあるマッチングを生成しており、幾何学的または物理的外れ値除去を用いたさらなる精錬の余地がある。