[論文レビュー] Learning Enhancement From Degradation: A Diffusion Model For Fundus Image Enhancement

Pujin Cheng, Lin Li+4 more|arXiv (Cornell University)|Mar 8, 2023

Retinal Imaging and Analysis被引用数 7

ひとこと要約

本稿では、手作業で設計された劣化モデルに依存せずに、データ駆動型の劣化プロセスから強化を学ぶことで、網膜画像の品質向上を実現する新しい拡散モデルLEDを提案する。高品質画像の分布をモデル化し、既存の強化フレームワークと統合することで、臨床的に重要な特徴を最小限の情報変更で保持するという点で最先端の性能を達成し、VSD (+10.10)、DRA (+1.87)、FMSEの低減 (-5.11) といった複数の指標でSOTA手法を上回った。

ABSTRACT

The quality of a fundus image can be compromised by numerous factors, many of which are challenging to be appropriately and mathematically modeled. In this paper, we introduce a novel diffusion model based framework, named Learning Enhancement from Degradation (LED), for enhancing fundus images. Specifically, we first adopt a data-driven degradation framework to learn degradation mappings from unpaired high-quality to low-quality images. We then apply a conditional diffusion model to learn the inverse enhancement process in a paired manner. The proposed LED is able to output enhancement results that maintain clinically important features with better clarity. Moreover, in the inference phase, LED can be easily and effectively integrated with any existing fundus image enhancement framework. We evaluate the proposed LED on several downstream tasks with respect to various clinically-relevant metrics, successfully demonstrating its superiority over existing state-of-the-art methods both quantitatively and qualitatively. The source code is available at https://github.com/QtacierP/LED.

研究の動機と目的

• 露出の悪さ、ぼやけ、強い光の反射といった複雑でモデル化が困難な劣化要因による低品質な網膜画像の強化という課題に対処する。
• 非ペaired学習における情報変更の問題を抱える既存手法が手作業で設計された劣化モデルに依存しているという限界を克服する。
• 任意の既存の網膜画像強化手法と互換性を持つ、柔軟でプラグイン型の強化フレームワークを開発する。
• 血管や視神経乳頭などの疾患特異的特徴を強化中に保持することで、臨床的関連性を高める。
• 複数のデータセットおよび下流タスクにおいて、参照ありおよび参照なしの指標を用いて、優れた性能を実証する。

提案手法

• 非ペairedの高品質画像から低品質画像への現実的な劣化マッピングを、データ駆動型劣化モデルで学習する。
• ペアの劣化済み画像と高品質画像を用いて、条件付き拡散モデルを訓練し、逆方向の強化プロセスを学習する。
• 粗いから細かい段階のフレームワークに拡散モデルを統合：ベースの強化ネットワークが粗い出力を生成し、それを拡散モデルが精錬する。
• 非ノイズの低品質画像を補助入力として用い、高品質画像をガウス分布に埋め込むことで、滑らかで連続的な強化を実現する。
• 劣化画像が強化画像よりも現実の低品質画像に近いかどうかを事前学習済みの品質評価モデルで検証し、訓練戦略の妥当性を裏付ける。
• 拡散モデルをリファインヘッドとして適用することで、任意の既存の強化フレームワークに推論段階で統合可能にする。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型劣化マッピングで訓練された拡散モデルは、臨床的に重要な特徴をよりよく保持する点で、既存の網膜画像強化手法を上回ることができるか？
• RQ2 拡散モデルによる高品質画像の分布モデリングは、GANベースやサイクル整合性に基づく手法と比較して、情報の変更や過剰強化を低減するか？
• RQ3 提案されたLEDフレームワークは、既存のSOTA強化パイプラインに効果的かつ柔軟に統合可能であり、性能を向上させることができるか？
• RQ4 多様な網膜画像データセットにおいて、参照ありおよび参照なしの指標でLEDフレームワークはSOTA手法を上回る性能を示すか？
• RQ5 他の手法と比較して、LEDは病変特異的特徴（血管や視神経乳頭）をどの程度良好に保持できるか？

主な発見

• LEDは元の劣化画像と比較してFIQAで45.39ポイントの向上を示し、主観的品質の著しい向上を示した。
• VSD指標では、劣化ベースラインと比較して10.10ポイントの向上を示し、構造的詳細の優れた保持を裏付けた。
• 元の劣化画像と比較してFMSEは5.11ポイント低減し、忠実度の向上と歪みの低減を示した。
• PCENetと組み合わせた場合、DRAは24.66ポイント向上し、多疾患データセットでの優れた性能と病変検出の向上を示した。
• 血管セグメンテーションにおいて、PCENetおよびI-SECRETからのLED精錬出力は、最小限のアーチファクトで明確な血管構造を示し、視覚的および定量的両面でベースライン手法を上回った。
• I-SECRETとLEDを統合した場合、VSDは1.70ポイント、DRAは12.14ポイント向上し、多様な強化パイプラインにわたる有効性を確認した。