[論文レビュー] Self-Supervised Monocular Depth and Ego-Motion Estimation in Endoscopy: Appearance Flow to the Rescue

Shuwei Shao, Zhongcai Pei+5 more|arXiv (Cornell University)|Dec 15, 2021

Advanced Vision and Imaging被引用数 7

ひとこと要約

本論文は、標準的な明るさ不変性仮定を破る著しい明るさの変動に起因する内視鏡における単眼深度および自己移動推定のための自己教師付きフレームワークを提案する。新規に導入された「外観フロー」という概念により、動的な明るさの変化をモデル化し、画像再構築の信頼性を高め、ベースラインの自己教師付き手法を上回る精度を達成する。SCARED、EndoSLAM、SERV-CT、Hamlynデータセットにおいて最先端の性能を示し、患者やカメラ間での強力なゼロショット一般化性能を示す。

ABSTRACT

Recently, self-supervised learning technology has been applied to calculate depth and ego-motion from monocular videos, achieving remarkable performance in autonomous driving scenarios. One widely adopted assumption of depth and ego-motion self-supervised learning is that the image brightness remains constant within nearby frames. Unfortunately, the endoscopic scene does not meet this assumption because there are severe brightness fluctuations induced by illumination variations, non-Lambertian reflections and interreflections during data collection, and these brightness fluctuations inevitably deteriorate the depth and ego-motion estimation accuracy. In this work, we introduce a novel concept referred to as appearance flow to address the brightness inconsistency problem. The appearance flow takes into consideration any variations in the brightness pattern and enables us to develop a generalized dynamic image constraint. Furthermore, we build a unified self-supervised framework to estimate monocular depth and ego-motion simultaneously in endoscopic scenes, which comprises a structure module, a motion module, an appearance module and a correspondence module, to accurately reconstruct the appearance and calibrate the image brightness. Extensive experiments are conducted on the SCARED dataset and EndoSLAM dataset, and the proposed unified framework exceeds other self-supervised approaches by a large margin. To validate our framework's generalization ability on different patients and cameras, we train our model on SCARED but test it on the SERV-CT and Hamlyn datasets without any fine-tuning, and the superior results reveal its strong generalization ability. Code will be available at: \url{https://github.com/ShuweiShao/AF-SfMLearner}.

研究の動機と目的

• 自己教師付き深度および自己移動推定における明るさ不変性仮定を破る著しいフレーム間の明るさの変動に起因する内視鏡動画の課題に対処する。
• 非ラムベールト反射、相互反射、照明変化の影響により、最小侵襲外科学における既存の自己教師付き手法の限界を克服する。
• 深度と自己移動を同時に推定するとともに、外観変化を補正する統合フレームワークを構築し、再構築の忠実度を向上させる。
• SCAREDで学習し、SERV-CTおよびHamlynデータセットで微調整なしにテストすることで、未観測の患者およびカメラ設定への強力な一般化を実証する。
• アノテートされたRGB-Dデータを必要としない、内視鏡ARナビゲーションおよび3D再構築のための堅牢でスケーラブルなソリューションを提供する。

提案手法

• 任意のフレーム間での明るさパターンの変化をモデル化できる微分可能表現として外観フローを導入し、動的な画像制約を可能にする。
• 構造、運動、外観、対応の4つのモジュールを備えた統合的自己教師付きフレームワークを設計し、深度と自己移動を同時に最適化する。
• 画像ワープの過程で明るさの不一致を推定・補正するために外観フローを用い、照明変化に起因する誤った教師信号の低減を図る。
• 外観シフトを考慮することで、明るさ不変性仮定を緩和する一般化された動的画像制約を組み込む。
• 予測された深度と自己移動に基づくワープベースのビュー合成に、外観フローを活用して再構築品質を向上させる。
• 深度予測から高品質な3D表面再構築のため、切り捨てられた符号付き距離関数（TSDF）とマーチング・キューブスを適用する。

実験結果

リサーチクエスチョン

• RQ1 外観フローは、照明変化や非ラムベールト反射に起因する内視鏡動画における著しい明るさの変動を効果的にモデル化・補正できるか？
• RQ2 提案された統合的自己教師付きフレームワークは、厳しい内視鏡的条件下で、既存手法を上回る単眼深度および自己移動推定性能を示すか？
• RQ3 微調整なしに、未観測の患者やカメラ設定にどの程度一般化できるか？
• RQ4 真値が存在しない状況下で、本フレームワークの3D表面再構築性能は最先端手法と比較してどの程度優れているか？
• RQ5 過剰露出や低テクスチャ領域が存在する状況下でも、スケールドリフトを低減し、構造的詳細を保持できるか？

主な発見

• 提案手法は、SCAREDおよびEndoSLAMデータセットにおいて、他の自己教師付き手法を上回り、深度および自己移動推定の精度が優れていることが示された。
• トラジェクトリ-1では、ベースラインおよびMonodepth2と比較して、高い精度と顕著なスケールドリフトの低減を達成した。
• トラジェクトリ-2では、本手法は高い精度を維持し、グローバルにスケール一貫性のあるトラジェクトリを生成したのに対し、Monodepth2およびベースラインはそのような性能を示さなかった。
• SCAREDおよびHamlynデータセットにおける定性的な表面再構築では、歪みが少なく、組織の輪郭などの重要な解剖学的特徴が保持されていた。
• SCAREDでの学習のみで、SERV-CTおよびHamlynデータセットへの一般化が顕著に効果的であり、微調整なしに実現された。これは、ドメイン一般化性能が優れていることを示している。
• 明るさの変動に起因する教師信号の曖昧さが低減され、低テクスチャで明るさの変動が著しいシーンでも、より信頼性の高い深度およびポーズ推定が可能になった。