[論文レビュー] Self-Supervised Generative Adversarial Network for Depth Estimation in Laparoscopic Images

Baoru Huang, Jian-Qing Zheng+5 more|arXiv (Cornell University)|Jul 9, 2021

Advanced Vision and Imaging参考文献 34被引用数 4

ひとこと要約

本論文は、ステレオペアを入力として用い、敵対的学習とマルチスケール監視を活用することで、再構成品質と一般化性能を向上させる自己教師付き生成的敵対ネットワーク、SADepthを提案する。本手法は、ピxls単位の真値深度ラベルを必要とせず、2つの公開データセットで最先端の性能を達成した。

ABSTRACT

Dense depth estimation and 3D reconstruction of a surgical scene are crucial steps in computer assisted surgery. Recent work has shown that depth estimation from a stereo images pair could be solved with convolutional neural networks. However, most recent depth estimation models were trained on datasets with per-pixel ground truth. Such data is especially rare for laparoscopic imaging, making it hard to apply supervised depth estimation to real surgical applications. To overcome this limitation, we propose SADepth, a new self-supervised depth estimation method based on Generative Adversarial Networks. It consists of an encoder-decoder generator and a discriminator to incorporate geometry constraints during training. Multi-scale outputs from the generator help to solve the local minima caused by the photometric reprojection loss, while the adversarial learning improves the framework generation quality. Extensive experiments on two public datasets show that SADepth outperforms recent state-of-the-art unsupervised methods by a large margin, and reduces the gap between supervised and unsupervised depth estimation in laparoscopic images.

研究の動機と目的

• 内視鏡画像におけるピxls単位の真値深度ラベルの欠如が、教師あり深度推定を制限するという問題に取り組む。
• 画像再構成を監視信号として用いる自己教師付き学習を活用することで、教師なし深度推定の性能を向上させる。
• 敵対的学習を用いることで、再構成品質を向上させ、深度予測におけるアーチファクトを低減する。
• 微調整を必要とせず、異なる内視鏡システムやデータセット間での一般化を可能にする。
• 内視鏡ビジョンにおける教師ありと教師なし深度推定の性能ギャップを埋める。

提案手法

• フレームワークは、ステレオRGB画像ペアから左・右の視差マップを予測するU-Netベースのエンコーダ・デコーダ生成ネットワークを採用する。
• 再投影サンプラーは、予測された視差マップを用いて入力画像を再構成することで、光度的再投影損失を計算する。
• 局所的最小値の回避と特徴学習の向上を図るため、複数の解像度レベルにわたりマルチスケール監視を適用する。
• 予測された視差の滑らかさを正則化し、ノイズを低減するため、視差滑らかさ損失を組み込む。
• 生成器から再構成された画像と実際の入力画像を区別できるように、識別器ネットワークを訓練する。これにより敵対的学習が可能になる。
• 全体の訓練目的は、光度的再投影損失、視差滑らかさ損失、敵対的損失を組み合わせ、エンドツーエンド最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 敵対的学習は、自己教師付き深度推定における再構成画像の品質を向上させることができるか？
• RQ2 マルチスケール監視は、ステレオ深度推定における光度的再投影損失が引き起こす局所的最小値をどのように克服するのか？
• RQ3 真値がなくとも、自己教師付きGANベースの手法が異なる内視鏡データセット間でどの程度一般化できるか？
• RQ4 ピxls単位の深度アノテーションが存在しないにもかかわらず、本手法は教師あり手法と競合する性能を達成できるか？
• RQ5 敵対的学習の統合は、低テクスチャな手術シーンにおける深度予測と画像再構成の忠実性にどのように影響を与えるか？

主な発見

• dVPNデータセットでは、SADepthがSSIM 79.6を達成し、Monodepth [9] より24.7ポイント、Monodepth2 [10] より8.4ポイント優れている。
• SCAREDデータセットでは、テストセット1で平均絶対深度誤差17.42 mm、テストセット2で11.23 mmを記録し、すべての教師なしベースラインを上回った。
• 教師なしと教師あり深度推定の性能ギャップを縮小し、SCAREDでは一部の教師ありアプローチと競合する結果を示した。
• 異なる内視鏡機器や手術シナリオから収集されたデータセット間でも、SADepthは良好な一般化性能を示し、強力なロバストネスを示した。
• 敵対的学習の導入により、再構成画像の視覚的品質が顕著に向上し、光度的一致性が向上し、アーチファクトが低減された。
• マルチスケール監視と視差滑らかさ損失の組み合わせにより、局所的最小値が効果的に抑制され、深度マップの精度が向上した。