[論文レビュー] SSiT: Saliency-guided Self-supervised Image Transformer for Diabetic Retinopathy Grading

Yijin Huang, Junyan Lyu+3 more|arXiv (Cornell University)|Oct 20, 2022

Retinal Imaging and Analysis被引用数 8

ひとこと要約

本稿では、網膜症（DR）の重症度分類のための、局所化ガイド付き自己教師ありビジョントランスフォーマーであるSSiTを提案する。本手法は、対照的学習と局所化予測に、網膜画像の局所化マップを統合することで表現学習を向上させる。キーエンコーダーにおいて局所化マップを用いて無関係なパッチをフィルタリングし、クエリーエンコーダーを局所化セグメンテーションを予測するように訓練することで、疾患関連領域に注目を集中させる。複数のDRデータセットで最先端の性能を達成し、一般化性能と微細な特徴保持性に優れる。

ABSTRACT

Self-supervised Learning (SSL) has been widely applied to learn image representations through exploiting unlabeled images. However, it has not been fully explored in the medical image analysis field. In this work, Saliency-guided Self-Supervised image Transformer (SSiT) is proposed for Diabetic Retinopathy (DR) grading from fundus images. We novelly introduce saliency maps into SSL, with a goal of guiding self-supervised pre-training with domain-specific prior knowledge. Specifically, two saliency-guided learning tasks are employed in SSiT: (1) Saliency-guided contrastive learning is conducted based on the momentum contrast, wherein fundus images' saliency maps are utilized to remove trivial patches from the input sequences of the momentum-updated key encoder. Thus, the key encoder is constrained to provide target representations focusing on salient regions, guiding the query encoder to capture salient features. (2) The query encoder is trained to predict the saliency segmentation, encouraging the preservation of fine-grained information in the learned representations. To assess our proposed method, four publicly-accessible fundus image datasets are adopted. One dataset is employed for pre-training, while the three others are used to evaluate the pre-trained models' performance on downstream DR grading. The proposed SSiT significantly outperforms other representative state-of-the-art SSL methods on all downstream datasets and under various evaluation settings. For example, SSiT achieves a Kappa score of 81.88% on the DDR dataset under fine-tuning evaluation, outperforming all other ViT-based SSL methods by at least 9.48%.

研究の動機と目的

• 自然画像と医療画像の間のドメインギャップが、医療画像解析における自己教師あり学習（SSL）の有効性を制限するという問題に対処すること。
• 具体的には、網膜画像からの局所化マップというドメイン特有の事前知識を統合することで、網膜症の重症度分類における表現学習を改善すること。
• モーメンタムエンコーダーにおける非局所化パッチをフィルタリングすることで、対照的学習を診断的に関連する領域にガイドすること。
• エンドツーエンドの局所化セグメンテーション予測により、学習された表現における微細な病変レベルの特徴を保持すること。
• 複数のデータセットにわたる下流のDR重症度分類タスクにおいて、局所化ガイド付きSSLが顕著に性能を向上させることを示すこと。

提案手法

• モーメンタム対照学習に基づく局所化ガイド付き対照的学習フレームワークを導入し、キーエンコーダーの入力シーケンスを局所化マップでフィルタリングすることで、無関係なパッチを抑制する。
• アノテーションなしの未ラベル網膜画像からピクセル単位の局所化マップを生成するため、事前学習済みでトレーニング不可の局所化検出手法を用いる。
• クエリーエンコーダーとモーメンタム更新付きキーエンコーダーを持つ二重ヘッドトランスフォーマー構造を採用し、対照的表現学習を実現する。
• クエリーエンコーダーを、入力画像の局所化セグメンテーションマスクを同時に予測するように、マルチタスクヘッドで訓練する。
• 対照的学習のためのポジティブビューを生成するために、標準的なデータ拡張（例：クロップ、カラーのジャマーリング）を適用する。
• 事前学習にはViT-SおよびViT-Bバックボーンを用い、線形評価とk-NN分類を用いた下流のDR重症度分類タスクでの微調整を実施する。

実験結果

リサーチクエスチョン

• RQ1 局所化マップは、特に網膜症の文脈において、医療画像解析における自己教師あり学習の事前学習を効果的にガイドできるか？
• RQ2 キーエンコーダーにおける非局所化パッチのフィルタリングは、学習された表現の判別性を向上させるか？
• RQ3 事前学習中にエンドツーエンドの局所化予測を実施することで、微細な病変レベルの特徴の保持が向上するか？
• RQ4 複数のデータセットにわたる下流のDR重症度分類性能において、SSiTは最先端のSSL手法と比較して優れているか？
• RQ5 局所化ガイドにより、網膜画像解析における自己教師ありビジョントランスフォーマーの一般化性能と移行性がどの程度向上するか？

主な発見

• SSiTは、ViT-Sバックボーンを用いてDDRデータセットで86.3%の重み付きkapppaスコアを達成し、比較したすべてのSOTA手法を上回った。
• IDRiDデータセットでは、ViT-Sを用いて線形評価精度94.7%、ViT-Bを用いて95.2%を達成し、既存のSSLベースラインを上回った。
• 微調整および線形評価の両プロトコルにおいて、DDR、IDRiD、APTOS、KAGGLEの4つのベンチマークデータセットすべてで一貫した向上を示した。
• 局所化ガイド付き対照的学習により、微小動脈瘤や出血といったDR関連領域に焦点を当てた表現が得られた。
• 局所化予測ヘッドのおかげで、モデルは豊富な意味的情報を保持でき、将来的に病変セグメンテーションのような密度予測タスクへの応用が可能になった。
• 局所化事前知識を活用した未ラベルデータの活用により、アノテーション済みの大規模データへの依存を軽減し、事前学習におけるデータ効率性が向上した。