[論文レビュー] A skeletonization algorithm for gradient-based optimization

Martin J. Menten, Johannes C. Paetzold+7 more|arXiv (Cornell University)|Sep 5, 2023

Medical Image Segmentation TechniquesComputer Science被引用数 3

ひとこと要約

本論文は、勾配ベース最適化と互換性がある最初の3次元トポロジー保存型スケルティングアルゴリズムを紹介する。微分可能演算（畳み込み、行列演算、確率的サンプリングなど）を用いる。非微分可能およびニューラルネットワークベースのベースラインと比較して、トポロジー的および幾何的精度が優れている。これにより、血管セグメンテーションやマルチモodalレジストレーションなどの医療画像解析タスクにおけるディープラーニングパイプラインへのシームレスな統合が可能になる。

ABSTRACT

The skeleton of a digital image is a compact representation of its topology, geometry, and scale. It has utility in many computer vision applications, such as image description, segmentation, and registration. However, skeletonization has only seen limited use in contemporary deep learning solutions. Most existing skeletonization algorithms are not differentiable, making it impossible to integrate them with gradient-based optimization. Compatible algorithms based on morphological operations and neural networks have been proposed, but their results often deviate from the geometry and topology of the true medial axis. This work introduces the first three-dimensional skeletonization algorithm that is both compatible with gradient-based optimization and preserves an object's topology. Our method is exclusively based on matrix additions and multiplications, convolutional operations, basic non-linear functions, and sampling from a uniform probability distribution, allowing it to be easily implemented in any major deep learning library. In benchmarking experiments, we prove the advantages of our skeletonization algorithm compared to non-differentiable, morphological, and neural-network-based baselines. Finally, we demonstrate the utility of our algorithm by integrating it with two medical image processing applications that use gradient-based optimization: deep-learning-based blood vessel segmentation, and multimodal registration of the mandible in computed tomography and magnetic resonance images.

研究の動機と目的

• ディープラーニングにおける勾配ベース最適化と互換性を持つ微分可能スケルティング手法の不足に応える。
• スケルトンにしばしば断片が生じるモルフォロジカルおよびニューラルネットワークベースのスケルティング手法のトポロジー的不正確さを克服する。
• バックプロパゲーションおよびディープラーニングフレームワークと完全に互換性を持つ一方で、真のメディアルアックスのトポロジーを保存する手法を開発する。
• 血液管セグメンテーションやマルチモーダル画像レジストレーションなど、最適化を要する実世界の医療画像処理応用における有効性を示す。
• 微分可能でドメインに依存しないスケルティングアプローチを通じて、トポロジー的インダクティブバイアスをディープラーニングパイプラインに統合する基盤を確立する。

提案手法

• アルゴリズムは行列加算・乗算、畳み込み演算、および基本的な非線形活性化関数に基づく微分可能定式化を採用する。
• トポロジーを保存する形で単純点を同定・削除する並列化可能なスキームを採用し、メディアルアックスの幾何的・トポロジカルな正確性を保証する。
• 非二値入力画像の離散化を可能にしつつ微分可能であるようにするため、確率的サンプリング戦略を導入する。これにより、元の物体構造の忠実性を維持できる。
• スケルティング中にトポロジーの正しさを保証するため、オイラー特性に基づく基準を活用し、モルフォロジカル手法で一般的に見られる不正な断片を回避する。
• パイプライン全体は、PyTorch や TensorFlow などのディープラーニングフレームワークに組み込まれた操作のみで実装されており、エンドツーエンドのバックプロパゲーションが可能である。
• アルゴリズムはオイラー特性ベースおよびブールベースの簡略化ルールを両方サポートしており、実装の柔軟性とパフォーマンスチューニングの余地を提供する。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースのディープラーニングパイプラインに統合可能な、微分可能かつトポロジーを保存する3次元スケルティングアルゴリズムを設計できるか？
• RQ2 提案手法は、非微分可能、モルフォロジカル、ニューラルネットワークベースのスケルティングベースラインと比較して、トポロジー的および幾何的精度の面でどの程度優れているか？
• RQ3 微分可能スケルティングは、ディープラーニングベースの医療画像セグメンテーションおよびマルチモーダルレジストレーションタスクのパフォーマンスをどの程度向上できるか？
• RQ4 標準的なディープラーニング演算のみで実装可能なか？これにより、既存のフレームワークとの広範な互換性が保証されるか？
• RQ5 レジストレーションにおいてスケルトンベースの損失関数を使用することで、標準的なマスクベースの損失関数と比較して、アライメント精度が向上するか？

主な発見

• ベンチマーク実験において、非微分可能、モルフォロジカル、ニューラルネットワークベースのベースラインと比較して、提案手法は優れたトポロジー的および幾何的正確性を達成した。
• マルチモーダル下顎レジストレーションにおいて、スケルトンを損失関数として使用したことで、Dice Similarity Coefficient (DSC) が 0.37 ± 0.02（オイラー変種）および 0.37 ± 0.01（ブール変種）に向上した。これは、スケルティングなしのベースライン（0.38 ± 0.01）およびモルフォロジカルベースライン（0.32 ± 0.01）を上回った。
• ハウスドルフ距離（HD）は、提案手法（ブール変種）で 28.0 ± 1.1 mm に低下したのに対し、ベースラインでは 29.9 ± 0.9 mm であった。これは空間的アライメントの改善を示している。
• 平均表面距離（ASD）は、各手法間で同等の水準（6.5–6.7 mm）を維持しており、表面レベルの正確性は一貫している一方で、トポロジー的忠実性が向上していることが確認された。
• アルゴリズムは、PyTorch などの autograd フレームワークを介して、ディープラーニングパイプラインへのシームレスな統合を可能にした。実世界の応用において勾配ベース最適化との互換性を実証した。
• 本手法はドメインに依存せず、特定のデータ分布に最適化する必要がない。これは、ドメインシフトに脆弱な学習済みスケルティングアプローチとは対照的である。