[論文レビュー] Robust Collaborative Learning of Patch-level and Image-level Annotations for Diabetic Retinopathy Grading from Fundus Image

Yehui Yang, Fangxin Shang+6 more|arXiv (Cornell University)|Aug 3, 2020

Retinal Imaging and Analysis参考文献 49被引用数 4

ひとこと要約

本論文は、網膜症の重症度スコア（画像レベル）と画素レベルの病変アノテーション（パッチレベル）を共同で学習する、耐障害性に優れたエンドツーエンドフレームワーク、CLPIを提案する。スパarselyラベル付けされたパッチレベルの病変に最適化された病変アテンション生成器を用い、画像レベルの重症度スコアのバックプロパゲーションによるアテンションマップの微調整により、ラベル不足やデータ分布の変化に対して優れた耐性を示し、最先端のアルゴリズムや経験豊富な眼科医を上回る性能を達成する。

ABSTRACT

Diabetic retinopathy (DR) grading from fundus images has attracted increasing interest in both academic and industrial communities. Most convolutional neural network (CNN) based algorithms treat DR grading as a classification task via image-level annotations. However, these algorithms have not fully explored the valuable information in the DR-related lesions. In this paper, we present a robust framework, which collaboratively utilizes patch-level and image-level annotations, for DR severity grading. By an end-to-end optimization, this framework can bi-directionally exchange the fine-grained lesion and image-level grade information. As a result, it exploits more discriminative features for DR grading. The proposed framework shows better performance than the recent state-of-the-art algorithms and three clinical ophthalmologists with over nine years of experience. By testing on datasets of different distributions (such as label and camera), we prove that our algorithm is robust when facing image quality and distribution variations that commonly exist in real-world practice. We inspect the proposed framework through extensive ablation studies to indicate the effectiveness and necessity of each motivation. The code and some valuable annotations are now publicly available.

研究の動機と目的

• 既存のCNNベースのDR重症度評価手法が、臨床的に重要な微細な病変情報を無視しているという限界を是正すること。
• パッチレベルの病変アノテーションと画像レベルの重症度スコアをエンドツーエンドで統合的に学習する共同学習フレームワークの開発。
• 実臨床における眼底画像で一般的に見られる欠損アノテーションや分布シフトに対して、モデルの耐性を向上させること。
• 高コストなピクセルレベルのアノテーションに依存することを減らし、より収集が容易なパッチレベルのラベルのみを用いること。
• 熟練した眼科医と同等の性能を達成しつつ、多様なデータセットに一般化できるようにすること。

提案手法

• パッチレベルのラベルが少ない小規模なデータセットで学習された病変アテンション生成器が、病変の局在化に適した空間的アテンションマップを生成する。
• 16×16の確率的行列を繰り返しコピー・タイル化することで、512×512のアテンションマップに拡張し、空間的構造を保持する。
• 入力画像と病変アテンションマップの両方を用いて、グレーディングモジュールがDR重症度を予測し、共同最適化を可能にする。
• 画像レベルの重症度スコアからのバックプロパゲーションにより、病変アテンション生成器が微調整され、双方向の知識移転が実現する。
• 病変アテンション生成器は、画像パッチで事前学習されており、1回の順伝播で全画像における病変を検出可能である。
• フレームワークはエンドツーエンドで学習され、病変検出とDR重症度評価の両方を別々の2段階訓練なしに共同最適化可能である。

実験結果

リサーチクエスチョン

• RQ1 パッチレベルの病変アノテーションと画像レベルの重症度スコアを共同で使用する共同学習フレームワークは、DR重症度評価の性能向上に寄与するか？
• RQ2 医療画像で一般的なラベル不足や欠損アノテーションの状況下で、本手法はどのように性能を示すか？
• RQ3 病変アテンションと画像重症度評価のエンドツーエンド最適化は、多様なデータ分布への一般化を向上させるか？
• RQ4 スパarselyラベル付けされたパッチレベルのラベルで学習された病変アテンション生成器は、最先端の検出器と同等の性能を達成できるか？
• RQ5 本手法は、実臨床現場で見られる画像品質のばらつきやカメラ機器の違いに対しても耐性を示すか？

主な発見

• CLPIフレームワークは、DR重症度評価において最先端の性能を達成し、最近の最先端アルゴリズムを上回り、9年超の臨床経験を持つ3名の熟練眼科医と同等の精度を示した。
• 欠損病変アノテーションに対して高い耐性を示した：50％の病変ラベルを無視した場合でも、Faster-RCNN や YOLO-V3 といった最先端の検出器よりも性能低下が著しく小さかった。
• 病変アテンション生成器は、ラベルが希薄であっても高い性能を維持でき、No-DR画像からネガティブパッチを収集することでラベル不足の影響を軽減できた。
• アブレーションスタディの結果、病変アテンション機構とエンドツーエンドの共同学習が最適性能を達成するために不可欠であることが確認された。
• 異なるラベル分布やカメラ機器を有するデータセット間でも良好な一般化性能を示し、実臨床での展開に耐える耐性を証明した。
• ピクセルレベルのマスクではなくパッチレベルのアノテーションのみを必要とするため、臨床現場への実装がより現実的になった。