[論文レビュー] Structure-Aware Image Segmentation with Homotopy Warping

Xiaoling Hu|arXiv (Cornell University)|Dec 15, 2021

Digital Image Processing Techniques被引用数 7

ひとこと要約

本稿では、幾何的変形が構造的誤差を引き起こす場所を特定し、ペナルティを課すことで、深層画像セグメンテーションにおけるトポロジーの正確性を向上させるホモトピー歪み損失を提案する。距離変換に基づくヒューリスティックを用いて、予測マスクと正例マスクの間でホモトピー同値な歪みを効率的に計算する。2Dおよび3Dのベンチマークにおいて、ARI、歪み誤差、ベッチ誤差の面で、最先端のトポロジーに配慮した手法を顕著に上回る性能を発揮する。

ABSTRACT

Besides per-pixel accuracy, topological correctness is also crucial for the segmentation of images with fine-scale structures, e.g., satellite images and biomedical images. In this paper, by leveraging the theory of digital topology, we identify pixels in an image that are critical for topology. By focusing on these critical pixels, we propose a new homotopy warping loss to train deep image segmentation networks for better topological accuracy. To efficiently identify these topologically critical pixels, we propose a new algorithm exploiting the distance transform. The proposed algorithm, as well as the loss function, naturally generalize to different topological structures in both 2D and 3D settings. The proposed loss function helps deep nets achieve better performance in terms of topology-aware metrics, outperforming state-of-the-art structure/topology-aware segmentation methods.

研究の動機と目的

• 高精度なピクセル単位の性能を示しても、接続の途切れや穴が残るトポロジカルエラーを解消すること。
• すべての誤分類ピクセルではなく、困難かつ構造的に重要な場所としてのトポロジカルに重要なピクセルを特定すること。
• 予測マスクと正例マスクの間のトポロジカルな不一致を検出するための効率的でスケーラブルな手法を開発すること。
• ネットワークアーキテクチャを変更せずに、トポロジーに配慮した性能を向上させるプラグアンドプレイ型の損失関数を設計すること。
• 計算効率を維持したまま、既存の手法を上回るトポロジー関連の指標（ARI、歪み誤差、ベッチ誤差）での性能向上を達成すること。

提案手法

• 予測マスクと正例マスクの間のトポロジカルな歪みに基づき、特定されたピクセルでの予測誤差をペナルティ化するホモトピー歪み損失を提案する。
• トポロジカルに重要なピクセルを、歪み処理下での予測マスクとその最も近いホモトピー同値マスクとの差に現れるピクセルとして定義する。
• マスク境界からの距離に基づいて単純ピクセルの反転を優先する距離順の新しいホモトピー歪みアルゴリズムを導入する。
• 単純ピクセル（トポロジカルに安定した点）における反復的ラベル反転を用いて、1つのマスクをもう一方に最小トポロジー変更で歪ませる。
• 誤分類ピクセルをマスクからの距離でソートするヒューリスティックを用いることで、収束を加速し、歪みの局所的最適性を向上させる。
• 損失関数は微分可能であり、標準的なディープラーニングフレームワークと互換性があり、任意のセグメンテーションバックボーンとエンドツーエンドで学習可能である。

実験結果

リサーチクエスチョン

• RQ1 パーゼンテンスホモロジーまたは尤度マップに基づく既存手法と比較して、トポロジカルに重要なピクセルをより正確かつ効率的に特定できるか？
• RQ2 ピクセル単位の損失と比較して、ホモトピーに基づく歪み戦略は、よりロバストで解釈可能なトポロジカル不一致の測定を提供するか？
• RQ3 距離順のヒューリスティックを用いたホモトピー歪みは、線形計算量O(n)で高品質な結果を達成できるか？
• RQ4 ホモトピー歪み損失を組み込むことで、ARI、歪み誤差、ベッチ誤差といったトポロジー関連指標に顕著な改善が見られるか？
• RQ5 モルフォロジカルクロージングなどの後処理手法と比較して、本手法は効率性と性能の両面で優れているか？

主な発見

• 2Dベンチマークにおいて、提案手法のホモトピー歪み損失は、Diceスコア0.603、ARI 0.572、歪み誤差8.853×10⁻³、ベッチ誤差1.251を達成し、ベースラインU-Netおよび後処理手法を上回る性能を示した。
• ベースラインU-Netと比較して歪み誤差を15.5%、TopoNetと比較して12.5%低減し、優れたトポロジカル忠実性を示した。
• 距離順の歪みアルゴリズムはO(n)の計算量を達成しており、TopoNetのO(n³)のパーゼンテンスホモロジー計算よりも顕著に高速である。
• アブレーションスタディの結果、距離変換ヒューリスティックを削除すると性能が低下し、効率的かつ正確な重要なピクセル選択においてその重要性が確認された。
• clDiceおよびDMTと比較して、トポロジーアウェア指標および学習効率の両面で本手法が優れており、微調整にわずか4時間の学習時間で十分な性能を達成した。
• モルフォロジカル後処理（例：カーネルサイズ15のクロージング）はトポロジーメトリクスの向上に失敗し、しばしば分離されたコンポーネントを統合してしまうため、ネットワーク内でのトポロジー学習の必要性が浮き彫りになった。