[論文レビュー] DiffMIC: Dual-Guidance Diffusion Network for Medical Image Classification

Yijun Yang, Huazhu Fu+3 more|arXiv (Cornell University)|Mar 19, 2023

Machine Learning in Healthcare被引用数 4

ひとこと要約

本稿では、一般医療画像分類のための最初の拡散ベースモデルであるDiffMICを提案する。本モデルは、二重スケールの条件付きガイドラインと、条件固有のMMD正則化を用いて、ノイズ除去と堅牢な意味的表現の学習を実現する。3つの多様な医療画像分類タスク（胎盤成熟度評価、皮膚腫瘍分類、糖尿病網膜症度評価）において、既存手法を大きく上回る最先端の性能を達成した。

ABSTRACT

Diffusion Probabilistic Models have recently shown remarkable performance in generative image modeling, attracting significant attention in the computer vision community. However, while a substantial amount of diffusion-based research has focused on generative tasks, few studies have applied diffusion models to general medical image classification. In this paper, we propose the first diffusion-based model (named DiffMIC) to address general medical image classification by eliminating unexpected noise and perturbations in medical images and robustly capturing semantic representation. To achieve this goal, we devise a dual conditional guidance strategy that conditions each diffusion step with multiple granularities to improve step-wise regional attention. Furthermore, we propose learning the mutual information in each granularity by enforcing Maximum-Mean Discrepancy regularization during the diffusion forward process. We evaluate the effectiveness of our DiffMIC on three medical classification tasks with different image modalities, including placental maturity grading on ultrasound images, skin lesion classification using dermatoscopic images, and diabetic retinopathy grading using fundus images. Our experimental results demonstrate that DiffMIC outperforms state-of-the-art methods by a significant margin, indicating the universality and effectiveness of the proposed model. Our code will be publicly available at https://github.com/scott-yjyang/DiffMIC.

研究の動機と目的

• 多様なモダリティにおけるノイズ多きく、ぼやけており、曖昧な医療画像の分類タスクにおける課題に対処すること。
• 拡散確率的モデルの応用を生成的タスクを超えて高レベルのビジョン、特に医療画像分類にまで拡大することの可能性を探ること。
• 確率的拡散プロセスによる画像のノイズ除去を通じて、重要な解剖学的特徴を保持したまま、特徴表現を向上させること。
• 二重スケールの条件付きガイドラインによるグローバルおよびローカルの事前知識の統合により、分類のロバスト性を向上させること。
• 条件固有のMMD正則化を用いて、画像レベルとパッチレベルの特徴から、分離可能で共通かつ堅牢な表現を学習すること。

提案手法

• 二重スケールの条件付きガイドライン（DCG）戦略により、各拡散ステップがグローバルな画像レベルと局所的な注目領域（ROI）レベルの事前知識に条件づけられ、局所的注視と細粒度特徴学習が向上する。
• モデルは、全画像、グローバル事前知識、ローカル事前知識の3つの入力を用いて、U-Netアーキテクチャ内にそれぞれのノイズ予測ヘッドを備えたノイズ除去拡散プロセスを適用する。
• 前方拡散プロセス中に、画像レベルとパッチレベルの潜在表現間の相互情報量を最大化するために、条件固有の最大平均差分（MMD）正則化を適用する。
• ノイズ予測は、結合されたノイズ付き埋め込みにおける平均二乗誤差（MSE）損失により学習され、MMD損失はグローバルおよびローカルブランチの予測ノイズに適用され、両者の分布を一致させる。
• 画像エンコーダーが特徴埋め込みを抽出し、拡散U-Netからのノイズ除去済み潜在特徴と融合されて、最終的な分類スコアが出力される。
• 逆方向の拡散プロセスにより、特徴が段階的にノイズ除去され、推論時に明確で分類分離可能な表現が得られ、t-SNEを用いた可視化が行われた。

実験結果

リサーチクエスチョン

• RQ1 拡散ベースのモデルは、ノイズ除去と意味的表現の強化を通じて、一般医療画像分類を効果的に改善できるか？
• RQ2 グローバルおよびローカルの事前知識を併用する二重スケールの条件付きガイドラインは、医療画像における注視と分類性能をどのように向上させるか？
• RQ3 条件固有のMMD正則化は、拡散プロセス中における潜在空間内の特徴の分離性とロバスト性をどの程度向上させるか？
• RQ4 提案されたDiffMICモデルは、超音波、皮膚鏡的、網膜画像分類など、多様な医療画像モダリティに一般化可能か？
• RQ5 従来のCNNやビジョントランスフォーマーと比較して、不均衡な医療データセットにおける精度とロバスト性の観点から、拡散モデリング統合はどのように優れているか？

主な発見

• 胎盤成熟度評価のためのPMG2000データセットにおいて、DiffMICは正解率0.931、F1スコア0.926を達成し、2番目に良い手法（PVT）を正解率0.024、F1スコア0.024上回った。
• 皮膚腫瘍分類のためのHAM10000データセットにおいて、DiffMICは2番目に良い手法（ProCo）に対して正解率0.019、F1スコア0.053の向上を達成した。
• 糖尿病網膜症度評価のためのAPTOS2019データセットにおいて、DiffMICはProCoより正解率0.021、F1スコア0.042高い結果を示し、不均衡データに対して強い性能を発揮した。
• アブレーションスタディの結果、各構成要素（拡散プロセス、DCG、MMD正則化）が性能向上に段階的に寄与しており、完全なモデルはベースライン（ResNet18）を正解率0.052上回った。
• t-SNE可視化では、拡散プロセスが進行するに従い、特徴埋め込みが次第にクラス分離されるようになることが確認され、効果的なノイズ除去と表現の最適化が示された。
• 本モデルは、超音波（胎盤）、皮膚鏡的（皮膚腫瘍）、網膜（糖尿病網膜症）という3つの異なる医療画像モダリティにわたる一般化を示し、普遍性を確認した。