[論文レビュー] Lesion-based Contrastive Learning for Diabetic Retinopathy Grading from Fundus Images

Yijin Huang, Li Lin+3 more|arXiv (Cornell University)|Jul 17, 2021

Retinal Imaging and Analysis参考文献 20被引用数 4

ひとこと要約

本稿では、網膜症の重症度分類のための病変ベースの対照学習（LCL）を提案する。フルフンダス画像の代わりに病変パッチを用いることで、特徴の識別能を向上させる。病変領域に注目し、データ拡張を最適化することで、EyePACSで最先端の性能を達成し、線形評価ではSimCLRを23.34%上回り、限られたラベル付きデータでも優れた転移性を示す。

ABSTRACT

Manually annotating medical images is extremely expensive, especially for large-scale datasets. Self-supervised contrastive learning has been explored to learn feature representations from unlabeled images. However, unlike natural images, the application of contrastive learning to medical images is relatively limited. In this work, we propose a self-supervised framework, namely lesion-based contrastive learning for automated diabetic retinopathy (DR) grading. Instead of taking entire images as the input in the common contrastive learning scheme, lesion patches are employed to encourage the feature extractor to learn representations that are highly discriminative for DR grading. We also investigate different data augmentation operations in defining our contrastive prediction task. Extensive experiments are conducted on the publicly-accessible dataset EyePACS, demonstrating that our proposed framework performs outstandingly on DR grading in terms of both linear evaluation and transfer capacity evaluation.

研究の動機と目的

• 医療画像における高コストなアノテーションの課題に対処するため、網膜症の重症度分類のための自己教師付きフレームワークを開発すること。
• 高解像度のフンダス画像における標準的対照学習の限界を克服すること。診断に必要な特徴（病変）が疎らであり、データ拡張の過程で容易に消失してしまうため。
• フルフンダス画像ではなく病変パッチに注目することで、特徴表現学習を向上させ、網膜症の重症度分類における識別能を高めること。
• 異なるデータ拡張戦略が、疎らな診断特徴を有するフンダス画像に対する対照学習に与える影響を調査すること。
• EyePACSのような大規模で現実世界のデータセット上で、提案手法の性能を評価し、優れた転移性と線形評価性能を示すこと。

提案手法

• 2段階のフレームワークを採用する。まず、IDRiDデータセット上でオブジェクト検出ネットワークを訓練し、フンダス画像内の病変を局所化する。
• 訓練済み検出器を用いて、EyePACSデータセットの病変パッチを信頼度しきい値（0.7、0.8、または0.9）で抽出する。
• データ拡張操作（クロッピング、回転、色の歪み、グレースケール化）を病変パッチに適用し、対照学習のためのポジティブビューを生成する。
• 同じ病変パッチの拡張ビュー間の特徴埋め込みの類似度を最大化し、異なるパッチ間の類似度を最小化するように、対照損失を最小化する。
• 特徴抽出器を、これらの病変パッチ上で自己教師付きで事前学習した後、下流の網膜症の重症度分類タスクで微調整する。
• 部分的および完全なEyePACSデータセットを用いた線形評価と転移能力評価により、性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 フルフンダス画像ではなく病変パッチに注目することで、網膜症の重症度分類のための自己教師付き表現学習が向上するか？
• RQ2 疎らな診断特徴を有するフンダス画像に対する対照学習において、どのデータ拡張操作の組み合わせが最も効果的か？
• RQ3 病変ベースの対照学習は、標準的対照学習（例：SimCLR）と比較して、線形評価および転移学習性能において優れているか？
• RQ4 信頼度しきい値によるフィルタリングによって得られる病変パッチの品質が、自己教師付きモデルの下流性能に影響を与えるか？
• RQ5 提案手法は限られたラベル付きデータでも高い性能を発揮し、優れた転移能力を示すことができるか？

主な発見

• 病変ベースの対照学習は、完全なEyePACSデータセットを用いた線形評価で、66.88%の2次加重カッパを達成し、SimCLR（128×128）を23.34ポイント上回った。
• 訓練データの1%のみを用いた転移能力評価では、カッパ68.37を達成し、完全に教師ありベースラインを15.01ポイント上回った。
• 高い検出信頼度しきい値（0.9）を用いることで、訓練パッチの数が少なくても性能が向上した。これは、パッチの品質が数よりも重要であることを示している。
• アブレーションスタディでは、クロッピング、回転、色の歪み、グレースケール化の組み合わせが最良のパフォーマンス（カッパ = 62.49）を発揮した。
• 特にデータが限られた状況下でも優れた転移性を示し、少データの網膜症の重症度分類シナリオにおける有効性を確認した。
• ソースコードは https://github.com/YijinHuang/Lesion-based-Contrastive-Learning で公開されている。