[論文レビュー] On the Robustness of Pretraining and Self-Supervision for a Deep Learning-based Analysis of Diabetic Retinopathy

Vignesh Srinivasan, Nils Strodthoff+4 more|arXiv (Cornell University)|Jun 25, 2021

Retinal Imaging and Analysis被引用数 6

ひとこと要約

本研究では、IDRiDデータセットを用いて、網膜症分類における事前学習および自己教師あり学習のロバスト性を評価する。ImageNetで事前学習したモデルと対照的学習で微調整したモデルは、精度、一般化性能、画像歪みに対するロバスト性、解釈可能性において、教師ありベースラインを上回ることを示している。特に、微小な病変（例：微小動脈瘤）の検出において顕著であり、大きな病変への過学習を低減する。

ABSTRACT

There is an increasing number of medical use-cases where classification algorithms based on deep neural networks reach performance levels that are competitive with human medical experts. To alleviate the challenges of small dataset sizes, these systems often rely on pretraining. In this work, we aim to assess the broader implications of these approaches. For diabetic retinopathy grading as exemplary use case, we compare the impact of different training procedures including recently established self-supervised pretraining methods based on contrastive learning. To this end, we investigate different aspects such as quantitative performance, statistics of the learned feature representations, interpretability and robustness to image distortions. Our results indicate that models initialized from ImageNet pretraining report a significant increase in performance, generalization and robustness to image distortions. In particular, self-supervised models show further benefits to supervised models. Self-supervised models with initialization from ImageNet pretraining not only report higher performance, they also reduce overfitting to large lesions along with improvements in taking into account minute lesions indicative of the progression of the disease. Understanding the effects of pretraining in a broader sense that goes beyond simple performance comparisons is of crucial importance for the broader medical imaging community beyond the use-case considered in this work.

研究の動機と目的

• 医療画像における事前学習と自己教師あり学習の影響を、単なる性能指標をはるかに超えて、広範な意味を評価すること。
• 網膜症グレーディングにおける教師あり学習、自己教師あり対照的学習、および異なる重み初期化戦略（ImageNet vs. ランダム）を比較すること。
• さまざまな学習手法における特徴表現のロバスト性と統計的変動に対する耐性を調査すること。
• 病変固有の帰属マップ（RMA、RRA）を通じたモデルの解釈可能性を評価し、モデルがどの病理的特徴に依存しているかを理解すること。
• 自己教師あり事前学習が、微小で早期段階の病変（例：微小動脈瘤）の検出を向上させるとともに、硬い亜酸化物のような大きな病変への過学習を低減するかどうかを特定すること。

提案手法

• 4つの学習戦略を用いた微調整済みResNet-50モデル：ImageNet事前学習を用いた教師あり学習（IFI）、ランダム初期化を用いた教師あり学習（IWNE）、ImageNet事前学習を用いた自己教師あり対照的学習（IFI-CL）、ランダム初期化を用いた自己教師あり対照的学習（IWNE-CL）。
• インスタンス識別と回転予測をプロキシタスクとして用い、ラベルなしで汎用的な表現を学ぶためにMoCo v2を用いた対照的学習を適用した。
• IDRiDデータセットを用いて、網膜症グレーディングの分類精度、AUC、F1スコアといった標準的指標でモデル性能を評価した。
• 異なる学習手法における特徴共分散行列の固有値統計を分析し、特徴表現のロバスト性を評価した。
• 勾配ベースのサリエンシーマップ（Grad-CAM）を用いて、微小動脈瘤、出血、硬い亜酸化物、全病変の各病変に対して、病変固有の帰属スコア（RMA、RRA）を計算した。
• 帰属マップを正例病変マップと比較し、モデルが臨床的に関連する特徴にどれほど適切に注目しているかを定量的に評価した。

実験結果

リサーチクエスチョン

• RQ1 ImageNet事前学習は、網膜症分類におけるモデル性能、一般化性能、画像歪みに対するロバスト性にどのように影響するか？
• RQ2 自己教師あり対照的学習手法は、教師あり微調整に比べて、モデル性能および特徴表現統計にどの程度向上効果をもたらすか？
• RQ3 教師あり学習 vs. 自己教師あり学習、およびImageNet事前学習の有無にかかわらず、さまざまな学習戦略が、臨床的に関連する病変（特に微小動脈瘤および出血）へのモデルの注目度にどのように影響するか？
• RQ4 自己教師ありモデルは、教師ありモデルに比べ、硬い亜酸化物のような大きな病変への過学習を低減するか？
• RQ5 学習された特徴表現の統計的性質（固有値分布）は、画像歪みに対するロバスト性とどの程度相関するか？

主な発見

• ImageNet事前学習で初期化されたモデル（IFI）は、ランダム初期化（IWNE）のモデルに比べ、顕著に高い性能、一般化性能、画像歪みに対するロバスト性を示した。
• 自己教師あり対照的学習（CL）は、すべての指標で教師あり微調整（FS）を上回り、IFI-CLがIDRiDデータセットで最高のAUCとF1スコアを達成した。
• IFI-CLモデルは優れた解釈可能性を示し、RMAおよびRRAスコアから、特に微小動脈瘤および出血に対して、正例病変マップとより良好に一致していることが示された。
• 教師ありモデル（特にIWNE-FS）は、硬い亜酸化物のような大きな病変に過学習しており、これらの特徴に対して高いRMAおよびRRAスコアを示したが、微小で臨床的に重要な病変では性能が劣っていた。
• 固有値解析により、IFI-CLモデルはより安定的かつロバストな特徴表現を学習しており、平坦な固有値スペクトルが一般化能力の向上を示していることがわかった。
• 全病変検出において、IFI-CLはRRAにおいて他のすべての手法を上回り、自己教師ありモデルが多様な病変タイプをより効果的に統合できていることを示している。