[論文レビュー] Diffusion Adversarial Representation Learning for Self-supervised Vessel Segmentation

Boah Kim, Yujin Oh+1 more|arXiv (Cornell University)|Sep 29, 2022

Retinal Imaging and Analysis被引用数 30

ひとこと要約

DARLは拡散モジュールと対立的生成器を組み合わせ、ground-truthラベルなしで血管表現を学習し、自己教師付きの方法でセグメンテーションマスクを生成します。複数データセットで最先端の結果を達成します。

ABSTRACT

Vessel segmentation in medical images is one of the important tasks in the diagnosis of vascular diseases and therapy planning. Although learning-based segmentation approaches have been extensively studied, a large amount of ground-truth labels are required in supervised methods and confusing background structures make neural networks hard to segment vessels in an unsupervised manner. To address this, here we introduce a novel diffusion adversarial representation learning (DARL) model that leverages a denoising diffusion probabilistic model with adversarial learning, and apply it to vessel segmentation. In particular, for self-supervised vessel segmentation, DARL learns the background signal using a diffusion module, which lets a generation module effectively provide vessel representations. Also, by adversarial learning based on the proposed switchable spatially-adaptive denormalization, our model estimates synthetic fake vessel images as well as vessel segmentation masks, which further makes the model capture vessel-relevant semantic information. Once the proposed model is trained, the model generates segmentation masks in a single step and can be applied to general vascular structure segmentation of coronary angiography and retinal images. Experimental results on various datasets show that our method significantly outperforms existing unsupervised and self-supervised vessel segmentation methods.

研究の動機と目的

• 医用画像におけるラベルが限られている、あるいは全くない状況での血管セグメンテーションの動機づけ。
• 血管セマンティクスを学習する拡散対向表現学習フレームワーク（DARL）の導入。
• 切替可能なSPADE層を介して合成血管造影像と血管セグメンテーションマスクを同時に生成できるようにする。
• ノイズに対する頑健性と網膜およびX線血管造影データセット間の一般化を示す。

提案手法

• ノイズのある入力から潜在的背景信号を推定する拡散モジュールを統合する。
• 切替可能なSPADE層を備えた生成モジュールを用いて血管マスクと合成血管造影像を生成する。
• 実際のセグメンテーションマスクと血管造影像を識別する2つの識別器を用いる。
• 拡散損失、対向損失、および循環整合性損失を用いたエンドツーエンドの学習。
• 推論は拡散モジュールの潜在特徴を用いた単一ステップのセグメンテーションを実行（反復なし）。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしでセグメンテーションに関係する血管表現を学習できる非反復拡散ベースのモデルは可能か。
• RQ2 切替可能なSPADE層を用いた対向生成はセグメンテーションと合成血管造影像の質を共同で改善するか。
• RQ3 方法はデータセット間・モダリティ間（血管造影と網膜画像）でどれだけ一般化するか。
• RQ4 方法は医用血管でよく見られるノイズや異なる撮像条件に頑健か。
• RQ5 各構成要素（拡散モジュール、S-SPADE、循環損失）が全体性能に与える寄与は何か。

主な発見

データ	指標	教師なし	自己教師付き	SGC	Redrawing	DS	STEGO	DA	SSVS	本手法
XCAD	IoU	0.060 ±0.034	0.059 ±0.032	0.366 ±0.105	0.146 ±0.070	0.375 ±0.066	0.410 ±0.???	0.471 ±0.076	-	-	-
XCAD	Dice	0.111 ±0.060	0.109 ±0.056	0.526 ±0.131	0.249 ±0.103	0.542 ±0.073	0.575 ±0.091	0.636 ±0.072	-	-	-
XCAD	Precision	0.062 ±0.034	0.139 ±0.081	0.469 ±0.127	0.152 ±0.077	0.557 ±0.115	0.590 ±0.119	0.701 ±0.115	-	-	-
134 XCA	IoU	0.045 ±0.035	0.056 ±0.018	0.256 ±0.110	0.134 ±0.081	0.190 ±0.155	0.318 ±0.128	0.426 ±0.059	-	-	-
134 XCA	Dice	0.085 ±0.063	0.105 ±0.033	0.394 ±0.159	0.228 ±0.109	0.291 ±0.217	0.468 ±0.156	0.595 ±0.058	-	-	-
134 XCA	Precision	0.047 ±0.036	0.058 ±0.019	0.280 ±0.123	0.136 ±0.088	0.506 ±0.201	0.592 ±0.125	0.781 ±0.118	-	-	-
30 XCA	IoU	0.083 ±0.039	0.048 ±0.022	0.339 ±0.086	0.191 ±0.072	0.298 ±0.109	0.324 ±0.146	0.427 ±0.184	-	-	-
30 XCA	Dice	0.150 ±0.064	0.091 ±0.040	0.499 ±0.113	0.314 ±0.100	0.447 ±0.148	0.468 ±0.193	0.572 ±0.205	-	-	-
30 XCA	Precision	0.090 ±0.041	0.144 ±0.074	0.525 ±0.130	0.200 ±0.081	0.612 ±0.174	0.613 ±0.212	0.729 ±0.152	-	-	-
Drive (Retina)	IoU	0.063 ±0.055	0.057 ±0.033	0.217 ±0.143	0.152 ±0.073	0.245 ±0.090	0.314 ±0.101	0.372 ±0.148	-	-	-
Drive (Retina)	Dice	0.115 ±0.093	0.105 ±0.059	0.333 ±0.201	0.257 ±0.106	0.386 ±0.117	0.469 ±0.119	0.525 ±0.161	-	-	-
Drive (Retina)	Precision	0.069 ±0.061	0.199 ±0.155	0.243 ±0.175	0.169 ±0.100	0.503 ±0.218	0.549 ±0.216	0.617 ±0.271	-	-	-
STARE	IoU	0.055 ±0.045	0.074 ±0.048	0.180 ±0.141	0.125 ±0.076	0.237 ±0.122	0.311 ±0.148	0.368 ±0.191	-	-	-
STARE	Dice	0.101 ±0.077	0.134 ±0.080	0.281 ±0.201	0.216 ±0.109	0.367 ±0.167	0.454 ±0.185	0.508 ±0.216	-	-	-
STARE	Precision	0.058 ±0.047	0.227 ±0.157	0.205 ±0.172	0.135 ±0.092	0.427 ±0.233	0.490 ±0.230	0.537 ±0.280	-	-	-

• DARLはX線冠動脈造影および網膜データセットで教師なしおよび自己教師付きのベースラインを上回る。
• 本手法は外部XCAテストおよびモダリティ横断の網膜データセットでDice、IoU、精度スコアがより高い。
• アブレーション解析により、拡散モジュール、S-SPADE、および循環損失の各要素が性能向上に寄与することが示される。
• DARLはガウスノイズに対して頑健で、さまざまなノイズレベル下でも合理的なセグメンテーションを維持する。
• 拡散経路からの潜在特徴は血管構造を強調し、ラベルなしでも効果的なセグメンテーションを支持する。