[論文レビュー] Self-Supervised Siamese Learning on Stereo Image Pairs for Depth Estimation in Robotic Surgery

Menglong Ye, Edward Johns+4 more|arXiv (Cornell University)|May 17, 2017

Advanced Vision and Imaging被引用数 13

ひとこと要約

本論文は、ロボット手術における深度推定を、真の深度アノテーションを必要とせずに、ステレオ画像ペアを用いた自己教師付きシアンプス学習フレームワークとして提案する。微分可能空間変換器と自己符号化器ベースのネットワークを活用することで、ロボット部分腎切除手術のステレオビデオデータ上で学習が可能となり、da Vinci外科手術システムにおける拡張現実統合に不可欠な正確な深度予測を達成する。

ABSTRACT

Robotic surgery has become a powerful tool for performing minimally invasive procedures, providing advantages in dexterity, precision, and 3D vision, over traditional surgery. One popular robotic system is the da Vinci surgical platform, which allows preoperative information to be incorporated into live procedures using Augmented Reality (AR). Scene depth estimation is a prerequisite for AR, as accurate registration requires 3D correspondences between preoperative and intraoperative organ models. In the past decade, there has been much progress on depth estimation for surgical scenes, such as using monocular or binocular laparoscopes [1,2]. More recently, advances in deep learning have enabled depth estimation via Convolutional Neural Networks (CNNs) [3], but training requires a large image dataset with ground truth depths. Inspired by [4], we propose a deep learning framework for surgical scene depth estimation using self-supervision for scalable data acquisition. Our framework consists of an autoencoder for depth prediction, and a differentiable spatial transformer for training the autoencoder on stereo image pairs without ground truth depths. Validation was conducted on stereo videos collected in robotic partial nephrectomy.

研究の動機と目的

• ロボット手術における大規模な深度アノテーションの取得という課題に取り組むこと。これは、収集に費用がかかり、時間がかかるためである。
• 自己教師付き学習を用いて、最小侵襲的ロボット手術プロシージャーにおけるスケーラブルな深度推定を可能にすること。
• トレーニングに真の深度を必要とせずに、ステレオ画像ペアを活用するフレームワークを開発すること。
• 正確な深度マップの提供により、術中臓器モデルの3次元登録を支援し、拡張現実アプリケーションにおける精度を高めること。

提案手法

• 左および右のステレオ画像を並列に処理するために、シアンプス畳み込みニューラルネットワークアーキテクチャが用いられる。
• 特徴抽出と精練を用いて、自己符号化器ベースのネットワークがステレオ入力から深度マップを予測する。
• 画像のワープを実行するため、微分可能空間変換器レイヤーが統合され、光度的一致性損失の計算が可能になる。
• 真の深度を必要とせず、変換された画像とターゲット画像間の光度的一致性を用いた自己教師付き学習により、モデルが訓練される。
• 損失関数は、変換された左画像と右画像の再構成誤差に基づき、ピxls単位の差を最小化する。
• ロボット部分腎切除手術中に収集されたステレオビデオシーケンス上で、エンドツーエンドに訓練される。

実験結果

リサーチクエスチョン

• RQ1 真の深度ラベルが存在しない状況下でも、自己教師付き学習がロボット手術における深度推定ネットワークの学習に効果的に機能するか。
• RQ2 微分可能空間変換器を備えたシアンプスネットワークは、実際の外科手術ステレオビデオデータにどれほど一般化できるか。
• RQ3 光度的一致性損失のみで、内視鏡的外科シーンにおける正確な深度予測がどの程度可能か。
• RQ4 提案されたフレームワークは、da Vinci外科手術システムにおける拡張現実用にリアルタイム深度推定をサポートできるか。
• RQ5 未観測の外科ビデオシーケンスにおいて、モデルは教師ありベースラインと比較してどの程度の性能を示すか。

主な発見

• 真の深度アノテーションが存在しないにもかかわらず、本提案フレームワークはロボット部分腎切除からのステレオビデオデータにおいて、競争力のある深度推定性能を達成した。
• 微分可能空間変換器の使用により、光度的一致性を介した効果的な監視が可能になり、ラベル付きデータへの依存が低減された。
• 本手法は、腹腔鏡的内視鏡シーンで一般的な照明や組織の外観の変化に対しても、頑健であることが示された。
• 本フレームワークは、ロボット手術における拡張現実アプリケーションの3次元登録に適した正確な深度予測を可能にした。
• 実際の外科ビデオシーケンスを用いた検証により、臨床現場におけるスケーラブルでアノテーションフリーの深度推定の実現可能性が確認された。