[論文レビュー] Extremely Dense Point Correspondences using a Learned Feature Descriptor

Xingtong Liu, Zheng Yi-ping+5 more|arXiv (Cornell University)|Mar 2, 2020

Robotics and Sensor-Based Localization参考文献 37被引用数 5

ひとこと要約

本論文は、テクスチャが乏しい内視鏡動画における点対応推定を顕著に改善する、新しいランク付けベースの損失関数を備えた自己教師あり学習フレームワークを提案する。大きな受容 field と頑健な学習ダイナミクスを活用することで、SfM を用いた高密度な 3D 再構築において、局所的および先行の高密度記述子を凌駕する優れた性能を達成し、特に未観測の被験者や内視鏡機器タイプへの一般化性能が優れている。

ABSTRACT

High-quality 3D reconstructions from endoscopy video play an important role in many clinical applications, including surgical navigation where they enable direct video-CT registration. While many methods exist for general multi-view 3D reconstruction, these methods often fail to deliver satisfactory performance on endoscopic video. Part of the reason is that local descriptors that establish pair-wise point correspondences, and thus drive reconstruction, struggle when confronted with the texture-scarce surface of anatomy. Learning-based dense descriptors usually have larger receptive fields enabling the encoding of global information, which can be used to disambiguate matches. In this work, we present an effective self-supervised training scheme and novel loss design for dense descriptor learning. In direct comparison to recent local and dense descriptors on an in-house sinus endoscopy dataset, we demonstrate that our proposed dense descriptor can generalize to unseen patients and scopes, thereby largely improving the performance of Structure from Motion (SfM) in terms of model density and completeness. We also evaluate our method on a public dense optical flow dataset and a small-scale SfM public dataset to further demonstrate the effectiveness and generality of our method. The source code is available at https://github.com/lppllppl920/DenseDescriptorLearning-Pytorch.

研究の動機と目的

• テクスチャが乏しい解剖的表面に起因する点対応の疎で信頼性の低い問題に対処すること。
• 特徴記述子の品質向上により、臨床的内視鏡における構造からモーション（SfM）の性能を向上させること。
• 未観測の被験者および内視鏡機器タイプに強く一般化できる自己教師あり学習スキームの開発。
• 低テクスチャ、医療画像処理環境における高密度記述子と局所的記述子の有効性を調査すること。
• 従来の対照的または回帰ベースの損失に起因する曖昧さを回避する、新しい損失関数の設計。

提案手法

• 教師なし対応のない状況下で、合成データと幾何的制約を用いて正例および負例のキーポイントペアを生成する自己教師あり学習スキームを提案。
• 標準的な BCE や Softargmax に起因するデータの不均衡や重心の曖昧さを回避する、新しいランク付けベースの（RR）損失を導入。
• 大規模な受容 field を有する深層畳み込みニューラルネットワーク（CNN）を用いて、画像全体にわたる高密度記述子を予測。
• 2段階のマッチング戦略を採用：まず、すべてのピクセルペア間の記述子類似度を計算し、次に RANSAC を用いた幾何的検証により外れ値をフィルタリング。
• 初期学習から得られるスパース SfM 結果を活用して、さらなる記述子の最適化をブートストラップし、一般化性能を向上。
• 幾何的一致性とランク付けベースの監視を組み合わせて、エンド・トゥ・エンドでモデルを訓練し、視点や照明変化に対して頑健な性能を実現。

実験結果

リサーチクエスチョン

• RQ1 新規損失関数を備えた学習ベースの高密度記述子は、低テクスチャの内視鏡環境において、従来の局所的記述子を上回る性能を示せるか？
• RQ2 本研究で提案するランク付けベースの損失は、標準的な対照的損失および回帰ベースの損失と比較して、記述子の識別性および学習安定性において優れているか？
• RQ3 高密度記述子は、臨床的 SfM パipラインにおいて、未観測の被験者および内視鏡機器タイプにどの程度一般化できるか？
• RQ4 合成データを用いた自己教師あり事前学習は、実際の内視鏡シーケンスにおける高密度記述子学習の性能向上に寄与するか？
• RQ5 記述子は、SfM 以外のタスク（例：オプティカルフロー推定）へ効果的に転送可能であり、SfM 以外の分野でも一般化能力を示せるか？

主な発見

• 提案された高密度記述子は、自社内での副鼻腔内視鏡データセットにおいて、SIFT や HardNet++、UCN および最近の他の記述子と比較して、SfM における再構築密度と完全性が顕著に向上した。
• 公開の KITTI オプティカルフロー データセットにおいて、本手法はマッチング精度およびフロー推定品質の面で、最先端の高密度記述子を上回った。
• 未観測の被験者および内視鏡機器タイプへの一般化が効果的に実現され、臨床的状況における強力なゼロショット転送性を示した。
• ランク付けベースの（RR）損失は、BCE や Softargmax よりも学習安定性および最終的な記述子品質で優れており、ラベルの曖昧さに起因する局所最適解の回避に寄与した。
• 合成データを用いた自己教師あり事前学習により、限られた実世界のアノテーションでも、頑健な記述子を学習可能となった。
• 初期学習から得たスパース SfM 結果を用いて記述子をブートストラップすることで、後続の反復処理においてより高密度かつ高精度な再構築が達成された。