[論文レビュー] JOINED : Prior Guided Multi-task Learning for Joint Optic Disc/Cup Segmentation and Fovea Detection

Huaqing He, Lin Li+2 more|arXiv (Cornell University)|Mar 1, 2022

Retinal Imaging and Analysis被引用数 7

ひとこと要約

本論文は、距離予測とヒートマップベース検出を統合することで、網膜画像における視神経乳頭／視杯のセグメンテーションと盲点検出を同時に実行する、事前知識を用いたマルチタスク学習フレームワークであるJOINEDを提案する。GAMMA、PALM、REFUGEデータセットにおいて最先端の性能を達成し、MICCAI2021 OMIA8チャレンジで5位、緑内障診断に臨床的に重要なvCDR指標で3位を記録した。

ABSTRACT

Fundus photography has been routinely used to document the presence and severity of various retinal degenerative diseases such as age-related macula degeneration, glaucoma, and diabetic retinopathy, for which the fovea, optic disc (OD), and optic cup (OC) are important anatomical landmarks. Identification of those anatomical landmarks is of great clinical importance. However, the presence of lesions, drusen, and other abnormalities during retinal degeneration severely complicates automatic landmark detection and segmentation. Most existing works treat the identification of each landmark as a single task and typically do not make use of any clinical prior information. In this paper, we present a novel method, named JOINED, for prior guided multi-task learning for joint OD/OC segmentation and fovea detection. An auxiliary branch for distance prediction, in addition to a segmentation branch and a detection branch, is constructed to effectively utilize the distance information from each image pixel to landmarks of interest. Our proposed JOINED pipeline consists of a coarse stage and a fine stage. At the coarse stage, we obtain the OD/OC coarse segmentation and the heatmap localization of fovea through a joint segmentation and detection module. Afterwards, we crop the regions of interest for subsequent fine processing and use predictions obtained at the coarse stage as additional information for better performance and faster convergence. Experimental results reveal that our proposed JOINED outperforms existing state-of-the-art approaches on the publicly-available GAMMA, PALM, and REFUGE datasets of fundus images. Furthermore, JOINED ranked the 5th on the OD/OC segmentation and fovea detection tasks in the GAMMA challenge hosted by the MICCAI2021 workshop OMIA8.

研究の動機と目的

• 病変や変性的変化によって複雑化する網膜画像における正確なランドマーク検出の課題に対処すること。
• 複数の解剖学的ランドマークからの臨床的事前知識を活用することで、セグメンテーションおよび局在化性能を向上させること。
• 視神経乳頭／視杯のセグメンテーションと盲点検出を同時に最適化する統合フレームワークを構築すること。
• 粗〜細かい処理と補助的距離予測を用いることで、モデルの安定性と収束速度を向上させること。
• 網膜画像解析における距離に敏感な監視とヒートマップ回帰の統合が、有効であることを検証すること。

提案手法

• 粗い段階で最初のセグメンテーションと盲点局在化を実行し、その後に局所領域に焦点を当てた細かい段階へと進む2段階パイプラインを提案する。
• 各画素から視神経乳頭、視杯、盲点までの距離を推定する距離予測ブランチを導入し、セグメンテーションおよび検出の事前知識として機能させる。
• 盲点の局在化を可能にするヒートマップ回帰ブランチを採用し、検出タスクにおける空間的監視を高精度に実現する。
• セグメンテーション、検出（ヒートマップ）、距離予測の3本の並列ブランチを備えた共有エンコーダ・デコーダバックボーンを用いる。
• 座標回帰とヒートマップ検出の出力を統合することで、局在化の安定性を向上させるアンサンブル推論を適用する。
• セグメンテーション交差エントロピー、検出の平均絶対誤差（MAE）、距離予測損失の重み付き和からなるマルチタスク損失を用いる。

実験結果

リサーチクエスチョン

• RQ1 すべての画素から主要な解剖学的ランドマークまでの距離情報を統合することで、網膜画像におけるセグメンテーションおよび検出性能が向上するか？
• RQ2 検出と距離予測を統合したマルチタスク学習により、視神経乳頭／視杯のセグメンテーションおよび盲点局在化の精度と安定性がどのように向上するか？
• RQ3 局所領域のクロップを伴う粗〜細かい戦略が、モデルの収束および性能にどの程度寄与するか？
• RQ4 盲点位置および相対的な空間的事前知識を組み込むことで、画像品質が異なる多様なデータセットへの一般化性能が向上するか？
• RQ5 特に緑内障診断に臨床的に重要なvCDR指標において、提案フレームワークは最先端手法と比較してどの程度優れているか？

主な発見

• JOINEDはGAMMAデータセットにおいて、視神経乳頭セグメンテーションで95.53 ± 5.60%、視杯セグメンテーションで86.89 ± 9.10%の最高Diceスコアを達成し、UNet、UNet++、DeepLabv3+を含むすべてのベースラインモデルを上回った。
• MICCAI2021 OMIA8チャレンジでは、全指標の合算スコアで5位となり、緑内障診断に臨床的に重要なvCDR指標では3位を記録した。
• アブレーションスタディの結果、距離予測ブランチの追加により、Diceスコアのわずかな低下にもかかわらず、セグメンテーションの安定性が向上し、標準偏差が低減された。
• 検出ブランチ（ヒートマップ）および距離ブランチを個別に組み込むことで性能向上が確認されたが、3つのブランチをすべて含む完全なJOINEDモデルが最も優れた全体的な結果を達成した。
• 可視化結果から、JOINEDは特にGAMMAおよびPALMの低品質画像において、ベースライン手法よりもより正確で精密なセグメンテーションマスクを生成した。
• モデルは複数のデータセットにわたり高い耐性を示し、高品質（REFUGE）および低品質（GAMMA、PALM）の両方の画像で高い性能を維持した。