[論文レビュー] EndoSLAM Dataset and An Unsupervised Monocular Visual Odometry and Depth Estimation Approach for Endoscopic Videos: Endo-SfMLearner

Kutsev Bengisu Ozyoruk, Guliz Irem Gokceler+13 more|arXiv (Cornell University)|Jun 30, 2020

Robotics and Sensor-Based Localization参考文献 55被引用数 5

ひとこと要約

本稿では、体外のブタ腸管臓器を用いた6次元姿勢と3次元点群の教師データを備えた、エンドスコピック動画の包括的コレクションであるEndoSLAMデータセットを紹介する。併せて、空間的アテンションモジュールと明るさに配慮した光度損失を備えた残差ネットワークを活用する、自己教師付きモノクローラルビジュアルオドメトリと深度推定手法であるEndo-SfMLearnerも提案する。本手法は、大腸、胃、小腸の各部位において、深度推定とポーズ追跡の分野で最先端の性能を達成し、実データおよび合成データにおいてRMSEが低く、SC-SfMLearner や形状から明るさを推定する手法を上回っている。

ABSTRACT

Deep learning techniques hold promise to develop dense topography reconstruction and pose estimation methods for endoscopic videos. However, currently available datasets do not support effective quantitative benchmarking. In this paper, we introduce a comprehensive endoscopic SLAM dataset consisting of 3D point cloud data for six porcine organs, capsule and standard endoscopy recordings as well as synthetically generated data. A Panda robotic arm, two commercially available capsule endoscopes, two conventional endoscopes with different camera properties, and two high precision 3D scanners were employed to collect data from 8 ex-vivo porcine gastrointestinal (GI)-tract organs. In total, 35 sub-datasets are provided with 6D pose ground truth for the ex-vivo part: 18 sub-dataset for colon, 12 sub-datasets for stomach and 5 sub-datasets for small intestine, while four of these contain polyp-mimicking elevations carried out by an expert gastroenterologist. Synthetic capsule endoscopy frames from GI-tract with both depth and pose annotations are included to facilitate the study of simulation-to-real transfer learning algorithms. Additionally, we propound Endo-SfMLearner, an unsupervised monocular depth and pose estimation method that combines residual networks with spatial attention module in order to dictate the network to focus on distinguishable and highly textured tissue regions. The proposed approach makes use of a brightness-aware photometric loss to improve the robustness under fast frame-to-frame illumination changes. To exemplify the use-case of the EndoSLAM dataset, the performance of Endo-SfMLearner is extensively compared with the state-of-the-art. The codes and the link for the dataset are publicly available at https://github.com/CapsuleEndoscope/EndoSLAM. A video demonstrating the experimental setup and procedure is accessible through https://www.youtube.com/watch?v=G_LCe0aWWdQ.

研究の動機と目的

• エンドスコピック動画解析のための、6次元姿勢と3次元教師データを備えた包括的かつ公開可能なデータセットの不足に対処すること。
• エンドスコピック画像撮影条件に特化した、頑健で自己教師付きのモノクローラルビジュアルオドメトリと深度推定手法を開発すること。
• 実データおよび合成データを用いた、エンドスコピックSLAMにおけるディーブラーニング手法のベンチマークを可能にすること。
• アテンション機構と損失関数の設計により、多様なエンドスコピックテクスチャおよび照明変化に対する一般化性能を向上させること。
• 最小侵襲的内視鏡法における3次元再構成、局所化、マルチタスク学習分野の今後の研究を支援すること。

提案手法

• EndoSLAMデータセットは、Pandaロボットアーム、2台のカプセル内視鏡、2台の標準内視鏡、および2台の高精度3次元スキャナを用いて、8つの体外のブタ消化管臓器で収集された。
• データセットには、大腸、胃、小腸の深度およびポーズアノテーションを備えた、6次元姿勢教師データ、3次元点群、および合成フレームを含む35のサブデータセットが含まれる。
• Endo-SfMLearnerは、モノクローラル深度およびポーズ推定の過程で、テクスチャが豊かで区別しやすい組織領域に注目するための空間的アテンションモジュールを備えた残差ネットワークを採用する。
• 急速な照明変化が頻発するエンドスコピック動画においても頑健性を高めるために、明るさに配慮した光度損失を導入する。
• ステレオマッチングからの深度監視と、フレーム間のポーズ一貫性を活用した自己教師学習を採用する。
• SIFT特徴抽出、RANSACベースの外れ値除去、Tsai-Shahの形状から明るさを推定する手法、およびOtsuのしきい値とOpenCVのインpaintingを用いた反射抑制を組み合わせた画像スターチングにより、3次元再構成を実行する。

実験結果

リサーチクエスチョン

• RQ1 一貫した自己教師付きモノクローラルネットワークは、テクスチャや照明が異なる多様なエンドスコピック環境において、正確な深度およびポーズ推定を達成できるか？
• RQ2 空間的アテンションモジュールの統合は、低テクスチャまたは高反射性のエンドスコピック領域での性能をどのように向上させるか？
• RQ3 明るさに配慮した光度損失は、エンドスコピック動画における急速な照明変化に対して、どの程度頑健性を向上させるか？
• RQ4 Endo-SfMLearnerは、トレーニングデータに含まれない臓器、例えば胃や小腸に対しても、どの程度一般化できるか？
• RQ5 合成エンドスコピックデータは、実世界のエンドスコピックSLAMタスクにおける転移学習を効果的に支援できるか？

主な発見

• 小腸では、Endo-SfMLearnerが0.40 cmのRMSEを達成し、SC-SfMLearner（1.02 cm）および形状から明るさを推定する手法（0.54 cm）を上回った。
• 大腸では、Endo-SfMLearnerが0.37 cmのRMSEを達成し、SC-SfMLearner（0.51 cm）および形状から明るさを推定する手法（0.86 cm）を上回った。
• 胃-IIIでは、Endo-SfMLearnerが0.41 cmのRMSEを達成し、SC-SfMLearner（1.37 cm）および形状から明るさを推定する手法（0.73 cm）を顕著に下回った。
• アテンションモジュールは、トレーニングセットに含まれない合成大腸、小腸、胃のフレームに対しても、深度推定性能の向上を実現した。
• Endo-SfMLearnerの深度推定値を用いた3次元再構成パイプラインは、RMSEがコロニーIVで0.65 cm、小腸で0.54 cm、胃-IIIで0.73 cmを記録し、ルールベース手法を上回った。
• アブレーションスタディにより、アテンションモジュールが深度変化への感受性を高め、特定の臓器を直接トレーニングしていない場合でも、テクスチャの違いに対する一般化性能を向上させることを確認した。