[論文レビュー] Learning Mutually Local-global U-nets For High-resolution Retinal Lesion Segmentation in Fundus Images

Zizheng Yan, Xiaoguang Han+4 more|arXiv (Cornell University)|Jan 18, 2019

Retinal Imaging and Analysis参考文献 12被引用数 19

ひとこと要約

本論文は、グローバルにダウンサンプリングされたU-NetとパッチベースのU-Netを共同最適化することで、高分解能網膜病変分類を向上させる、相互に強化される局所的・グローバル的U-Netフレームワークを提案する。グローバルデコーダーからの特徴マップを局所デコーダーに統合し、両ブランチを共同で訓練することで、微小で散在する病変（例：微小動脈瘤やヘーシュ・エキスダート）の分類性能が顕著に向上し、単独のグローバルまたは局所ネットワークを上回る性能を達成する。

ABSTRACT

Diabetic retinopathy is the most important complication of diabetes. Early diagnosis of retinal lesions helps to avoid visual loss or blindness. Due to high-resolution and small-size lesion regions, applying existing methods, such as U-Nets, to perform segmentation on fundus photography is very challenging. Although downsampling the input images could simplify the problem, it loses detailed information. Conducting patch-level analysis helps reaching fine-scale segmentation yet usually leads to misunderstanding as the lack of context information. In this paper, we propose an efficient network that combines them together, not only being aware of local details but also taking fully use of the context perceptions. This is implemented by integrating the decoder parts of a global-level U-net and a patch-level one. The two streams are jointly optimized, ensuring that they are enhanced mutually. Experimental results demonstrate our new framework significantly outperforms existing patch-based and global-based methods, especially when the lesion regions are scattered and small-scaled.

研究の動機と目的

• 高分解像の網膜画像において、グローバル手法が詳細を失い、局所手法が文脈を欠くという課題に、微小で散在する網膜病変を分類すること。
• 既存のパッチベースおよびグローバルベースのU-Net手法の限界を克服し、局所の細粒度特徴とグローバルな文脈認識を統合すること。
• 局所とグローバルな分類ブランチの相互強化を可能にする、統一的でエンドツーエンドで訓練可能なフレームワークを設計すること。
• 現在の手法が解像度と文脈のトレードオフのため苦戦する微小で散在する病変（微小動脈瘤やヘーシュ・エキスダート）の分類精度を向上させること。

提案手法

• フレームワークは2つのU-Netブランチから構成される：グローバルにダウンサンプリングされた画像を処理し粗い分類マップを生成するGlobalNetと、切り出しパッチを処理して細粒度分類を実行するLocalNetである。
• GlobalNetのデコーダーからの特徴マップを切り出し、対応するLocalNetのデコーダー層に連結することで、局所予測にグローバルな文脈を統合する。
• 両ブランチは共有損失関数を介して共同最適化され、相互強化が実現される：局所損失がグローバル特徴学習を向上させ、グローバル文脈が局所の曖昧性を低減する。
• 3段階のトレーニング戦略を採用：まずGlobalNetとLocalNetを別々に事前学習し、次に融合モジュールを微調整し、最後にネットワーク全体をエンドツーエンドで微調整する。
• 最終的な分類は、すべてのパッチからの予測をステッチングすることで得られ、1つの256×256パッチの推論に10–30 msを要する。

実験結果

リサーチクエスチョン

• RQ1 統一されたディープラーニングフレームワークは、高分解像網膜病変分類において、局所的詳細感度とグローバル文脈認識を効果的に統合できるか？
• RQ2 局所とグローバルU-Netブランチの共同最適化は、独立した局所またはグローバルモデルと比較して、微小で散在する病変の分類性能を向上させるか？
• RQ3 グローバル文脈を局所分類に統合することで、パッチ境界での誤分類や一貫性の欠如がどのように低減されるか？
• RQ4 どの病変タイプ（例：微小動脈瘤対比て出血）において、提案手法が最大の性能向上を示すか？

主な発見

• 提案された統合モデルは、ヘーシュ・エキスダート（EX）に対してAUPR 0.889を達成し、GlobalNet（0.849）とLocalNet（0.845）を顕著に上回る。
• 微小動脈瘤（MA）では、統合モデルがAUPR 0.525を達成し、GlobalNet（0.484）とLocalNet（0.433）を上回る。
• 本モデルは散在的で微小な病変に対して最も優れた性能を発揮する：グローバル手法では詳細が失われ、局所手法では文脈が欠ける病変に対して性能向上を示す。
• より大きく凝集した病変（出血（HE）やソフトエキスダート（SE））に対しては、GlobalNetが依然として統合モデルを上回る。これは、本手法が微小で散在する対象に対して最も効果的であることを示している。
• 本手法は2018年ISBIグランドチャレンジのリーダーボードで最先端の性能を達成し、U-Netをバックボーンとする報告済みのすべての結果を上回った。
• 3段階のトレーニング戦略（事前学習、融合モジュールの微調整、エンドツーエンドの微調整）により、安定した収束とブランチ間の効果的な特徴転送が保証された。