[論文レビュー] Global Contrast Masked Autoencoders Are Powerful Pathological Representation Learners

Quan Hao, Xingyu Li+8 more|arXiv (Cornell University)|May 18, 2022

AI in cancer detection被引用数 6

ひとこと要約

本稿では、自己教師あり学習手法として、グローバルコントラストマスク付きオートエンコーダー（GCMAE）を提案する。この手法は、マスク画像モデリングと対照学習を組み合わせることで、ラベルなしH&E染色病理組織スライド画像から強力で転移可能な表現を学習する。GCMAEは、Camelyon16、NCTCRC、BreakHisの3つのデータセットにおいて、自己教師あり学習と対照学習のベースライン（MAEやCS-COを含む）を上回る最先端の性能を達成しており、特に線形プローブとファインチューニング設定で顕著な優位性を示している。

ABSTRACT

Based on digital pathology slice scanning technology, artificial intelligence algorithms represented by deep learning have achieved remarkable results in the field of computational pathology. Compared to other medical images, pathology images are more difficult to annotate, and thus, there is an extreme lack of available datasets for conducting supervised learning to train robust deep learning models. In this paper, we propose a self-supervised learning (SSL) model, the global contrast-masked autoencoder (GCMAE), which can train the encoder to have the ability to represent local-global features of pathological images, also significantly improve the performance of transfer learning across data sets. In this study, the ability of the GCMAE to learn migratable representations was demonstrated through extensive experiments using a total of three different disease-specific hematoxylin and eosin (HE)-stained pathology datasets: Camelyon16, NCTCRC and BreakHis. In addition, this study designed an effective automated pathology diagnosis process based on the GCMAE for clinical applications. The source code of this paper is publicly available at https://github.com/StarUniversus/gcmae.

研究の動機と目的

• 計算病理学に適した自己教師あり表現学習手法の開発により、ラベル付き病理画像データの不足を解決すること。
• 染色プロトコルや疾患タイプが異なる多様な病理データセット間で、ディープラーニングモデルの汎化性と転移性を向上させること。
• 病理画像表現学習におけるマスク画像モデリングの最適なマスク率を特定すること。
• 学習された表現に基づいて、臨床的実用性のある自動診断パイプラインを設計すること。
• 染色変動に対するモデルのロバストネスを、染色正規化の有無を比較することで評価すること。

提案手法

• GCMAEは、ViTベースのエンコーダーを用いて、マスクされたパッチの再構築と、ポジティブおよびネガティブなパッチ表現の対照学習を同時に学習することで、マスクオートエンコーディング（MAE）と対照学習を統合する。
• グローバルコントラスト損失を用いることで、モデルがグローバルな文脈的特徴を学習する能力が向上し、マスク再構築タスクによりローカルなテクスチャや構造的詳細が捉えられる。
• 2段階の訓練戦略を採用：まず、マスク再構築と対照学習を用いて、ソースデータセット（Camelyon16、NCTCRC、BreakHis）で事前学習を行い、その後、下流タスクでファインチューニングする。
• 学習可能なマスク率ハイパーパrameterを採用し、病理画像データに実験的に最適化することで、ローカルおよびグローバル特徴の学習のバランスをとる。
• 下流分類タスクのための線形プローブとエンドツーエンドのファインチューニングの両方をサポートし、転移学習性能の評価を可能にする。
• 注意機構を用いた分類とモデル distillation を組み合わせた、臨床現場への導入に適した自動診断パイプラインを設計した。

実験結果

リサーチクエスチョン

• RQ1 マスクオートエンコーディングと対照学習を組み合わせることで、病理画像解析における表現の転移性が向上するか？
• RQ2 H&E染色全スライド画像の文脈において、マスク画像モデリングの最適なマスク率は何か？
• RQ3 GCMAEは、病理画像におけるクロスデータセット転移学習において、教師ありおよび対照学習ベースラインと比較してどのように差をつけるか？
• RQ4 染色正規化の有無が、GCMAEと他のSSL手法との相対的性能差に影響を与えるか？
• RQ5 軽量なGCMAEベースのモデルは、信頼性があり臨床的に実用可能な自動診断を達成できるか？

主な発見

• BreakHisデータセットでは、線形プローブで92.14%の精度、ファインチューニングで99.23%のAUCを達成し、MAE（89.52%および98.51%）や他のベースラインを上回った。
• クロスデータセット転移学習において、染色正規化なしでも、Camelyon16で事前学習した教師ありモデルを上回り、NCTCRCデータセットで線形プローブ精度89.22%、ファインチューニング精度93.89%を達成した。
• 染色正規化なしでも、すべての他の手法（染色正規化を用いたものも含む）を上回り、染色変動に対して優れたロバストネスを示した。
• アブレーションスタディにより、病理画像における最適なマスク率は0.5〜0.7の間にあると確認され、ローカルおよびグローバル特徴の学習のバランスが取れていることが示された。
• GCMAE特徴に基づく自動診断パイプラインは、BreakHisでAUC（99.23%）と精度（92.14%）の両方を高く維持し、高い臨床的実用性を示した。
• GCMAEは、Camelyon16、NCTCRC、BreakHisの3つのデータセットすべてで強力な性能を維持しており、疾患種別および画像取得プロトコルの違いを問わず、優れた汎化性能を示した。