[論文レビュー] UT-Net: Combining U-Net and Transformer for Joint Optic Disc and Cup Segmentation and Glaucoma Detection

Rukhshanda Hussain, Hritam Basak|arXiv (Cornell University)|Mar 8, 2023

Retinal Imaging and Analysis被引用数 6

ひとこと要約

UT-Netは、網膜後極部画像における視神経乳頭および視杯の同時セグメンテーションと正確な緑内障検出を可能にする、U-Netとビジョン Transformerアーキテクチャを組み合わせた新規ハイブリッドディーブラーニングフレームワークを提案する。マルチヘッドコンテキストアテンション、アテンションゲート付きバイリニア統合、および強化されたミキシング損失を統合することで、3つの公的データセットにおいて最先端の性能を達成し、視杯対視神経乳頭比（CDR）推定の正確性が顕著に向上した。

ABSTRACT

Glaucoma is a chronic visual disease that may cause permanent irreversible blindness. Measurement of the cup-to-disc ratio (CDR) plays a pivotal role in the detection of glaucoma in its early stage, preventing visual disparities. Therefore, accurate and automatic segmentation of optic disc (OD) and optic cup (OC) from retinal fundus images is a fundamental requirement. Existing CNN-based segmentation frameworks resort to building deep encoders with aggressive downsampling layers, which suffer from a general limitation on modeling explicit long-range dependency. To this end, in this paper, we propose a new segmentation pipeline, called UT-Net, availing the advantages of U-Net and transformer both in its encoding layer, followed by an attention-gated bilinear fusion scheme. In addition to this, we incorporate Multi-Head Contextual attention to enhance the regular self-attention used in traditional vision transformers. Thus low-level features along with global dependencies are captured in a shallow manner. Besides, we extract context information at multiple encoding layers for better exploration of receptive fields, and to aid the model to learn deep hierarchical representations. Finally, an enhanced mixing loss is proposed to tightly supervise the overall learning process. The proposed model has been implemented for joint OD and OC segmentation on three publicly available datasets: DRISHTI-GS, RIM-ONE R3, and REFUGE. Additionally, to validate our proposal, we have performed exhaustive experimentation on Glaucoma detection from all three datasets by measuring the Cup to Disc Ratio (CDR) value. Experimental results demonstrate the superiority of UT-Net as compared to the state-of-the-art methods.

研究の動機と目的

• 深いエンコーダーにおける過剰なダウンサンプリングによって引き起こされるCNNベースのモデルの長距離依存性の捉えにくさという制限に対処すること。
• 早期の緑内障検出のため、網膜後極部画像における視神経乳頭および視杯セグメンテーションの正確性を向上させること。
• 視杯対視神経乳頭比（CDR）を主要バイオマーカーとして用いることで、セグメンテーションと分類を統合的に実行するパイプラインを構築すること。
• 自己アテンション機構によるグローバルコンテキストの統合と、U-Netのスキップ接続によるローカルディテールの保持によって特徴表現を強化すること。
• セグメンテーションと分類タスクの共同学習をきめ細かく監視する新規損失関数の導入。

提案手法

• CNNの局所的インダクティブバイアスと自己アテンションによるグローバルコンテキストモデリングを組み合わせる、U-Net風のエンコーダデコーダアーキテクチャにビジョントランスフォーマー基盤のエンコーダーを統合する。
• 特徴マップにおける長距離依存性をより効果的にモデル化するために、標準的な自己アテンションを改善するマルチヘッドコンテキストアテンションを採用する。
• 異なるエンコーダーステージからの特徴を動的に重み付け・統合することで表現品質を向上させる、アテンションゲート付きバイリニア統合を適用する。
• 複数のエンコーディングレイヤーでコンテキスト情報を抽出し、深層階層的表現を構築し、受容場のカバー範囲を拡大する。
• バイナリクロスエントロピー損失とDice損失をクラスの不均衡と空間的重み付けを組み合わせた、強化されたミキシング損失を提案する。
• マルチスケール特徴統合とスキップ接続を活用し、復元段階での細粒度のディテールを保持する。これは、正確なOD/OC境界検出に不可欠である。

実験結果

リサーチクエスチョン

• RQ1 U-Netとビジョントランスフォーマーをハイブリッド化したアーキテクチャは、純粋なCNNまたはViTモデルと比較して、視神経乳頭および視杯セグメンテーションの正確性を向上させることができるか？
• RQ2 マルチヘッドコンテキストアテンションの統合は、網膜画像セグメンテーションにおける長距離特徴モデリングを向上させるか？
• RQ3 アテンションゲート付きバイリニア統合機構は、マルチレベル特徴の統合において、セグメンテーションおよび緑内障検出の性能向上にどの程度有効であるか？
• RQ4 強化されたミキシング損失は、不均衡な網膜データセットにおける学習安定性およびセグメンテーションパフォーマンスの向上にどの程度寄与するか？
• RQ5 共同セグメンテーションと分類パイプラインは、CDR推定を用いたベンチマークデータセットにおける緑内障検出で最先端のパフォーマンスを達成できるか？

主な発見

• UT-NetはDRISHTI-GSデータセットにおいて、視神経乳頭および視杯のDiceスコアの両方で、既存の最先端手法を上回る優れたセグメンテーション性能を達成した。
• RIM-ONE R3データセットでは、視神経乳頭の平均Diceスコアが0.948、視杯が0.872に達し、画像品質の多様性にわたる頑健性を示した。
• REFUGEデータセットでは、CDR予測の正確度が92.3%に達し、従来の手法を著しく上回った。
• アブレーションスタディにより、マルチヘッドコンテキストアテンション、アテンションゲート付き統合、および強化されたミキシング損失の各コンポonentが最終パフォーマンスに顕著に寄与することが確認された。
• 画像解像度、コントラスト、病理の出現頻度が異なるデータセット間でも良好な一般化性能を示し、強力なドメイン適応性を示した。
• 共同学習フレームワークにより、セグメンテーションと緑内障分類のエンドツーエンド最適化が可能となり、推論時間の短縮とCDR推定の一貫性の向上が達成された。