[論文レビュー] Interpretable histopathology-based prediction of disease relevant features in Inflammatory Bowel Disease biopsies using weakly-supervised deep learning

Ricardo Mokhtari, Azam Hamidinekoo+13 more|arXiv (Cornell University)|Mar 20, 2023

Tuberculosis Research and EpidemiologyMedicine被引用数 3

ひとこと要約

本研究では、病理医による全スライド画像のアノテーションに依存せず、内視鏡画像のラベルのみを用いて、炎症性腸疾患（IBD）生検における疾患関連の組織像特徴を解釈可能で弱教師ありの深層学習モデルで予測する手法を開発した。自己教師あり事前学習とアテンションマップを活用することで、クローン病と潰瘍性大腸炎の分類において高いAUC（最大0.87）を達成し、病理医による検証済みの炎症度と強く相関した。これにより、重度症例の自動優先順位付けと臨床試験における患者の層別化が向上する。

ABSTRACT

Crohn's Disease (CD) and Ulcerative Colitis (UC) are the two main Inflammatory Bowel Disease (IBD) types. We developed deep learning models to identify histological disease features for both CD and UC using only endoscopic labels. We explored fine-tuning and end-to-end training of two state-of-the-art self-supervised models for predicting three different endoscopic categories (i) CD vs UC (AUC=0.87), (ii) normal vs lesional (AUC=0.81), (iii) low vs high disease severity score (AUC=0.80). We produced visual attention maps to interpret what the models learned and validated them with the support of a pathologist, where we observed a strong association between the models' predictions and histopathological inflammatory features of the disease. Additionally, we identified several cases where the model incorrectly predicted normal samples as lesional but were correct on the microscopic level when reviewed by the pathologist. This tendency of histological presentation to be more severe than endoscopic presentation was previously published in the literature. In parallel, we utilised a model trained on the Colon Nuclei Identification and Counting (CoNIC) dataset to predict and explore 6 cell populations. We observed correlation between areas enriched with the predicted immune cells in biopsies and the pathologist's feedback on the attention maps. Finally, we identified several cell level features indicative of disease severity in CD and UC. These models can enhance our understanding about the pathology behind IBD and can shape our strategies for patient stratification in clinical trials.

研究の動機と目的

• 全スライド画像のアノテーションにかかる費用を回避するため、病理医による全スライド画像のアノテーションに依存せず、内視鏡画像ラベルのみを用いてIBD生検における組織像特徴を予測する解釈可能な深層学習モデルを開発すること。
• 弱教師あり学習がクローン病および潰瘍性大腸炎における内視鏡的所見と下位の組織像特徴を効果的に結びつけることができるかを検証すること。
• 病理医との共同作業を通じてモデルの予測を検証し、アテンションマップを用いて炎症部位を局在化させ、専門家による組織像評価と照合すること。
• 事前学習済みCoNICモデルを用いた細胞タイプ予測の有効性を検討し、アテンションマップとの空間的一致性と臨床的意義を評価すること。
• 予測された重症度順に生検をランク付けし、アテンションマップで病変部位を強調することで、病理医の作業フローの高速化と効率化を実現すること。

提案手法

• SPARC IBDデータセットの1,394枚の全スライド画像を用い、内視鏡ラベルを弱教師として、最先端の自己教師ありモデル2つ（DSMILおよびHIPT）を微調整およびエンドツーエンド学習した。
• SPARC IBDデータセットを用いた自己教師あり事前学習により、意味のある組織埋め込みを学習し、ImageNet や TCGA からの事前学習に比べて、下流タスクの性能が向上した。
• モデルから得られたアテンションマップを用いて関心領域を特定し、病理医による評価で組織像の炎症パターンと整合的であるかを検証した。
• 事前学習済みCoNICモデルを用いて、生検組織内の6つの免疫細胞集団の予測を行い、アテンションマップと照合して空間的一致性を評価した。
• 3つのタスクにおけるモデル性能を評価した：(i) クローン病対潰瘍性大腸炎の分類、(ii) 正常対病変組織の分類、(iii) 低・高内視鏡重症度スコアの分類。
• サブセット特化型の学習（例：大腸のみ、または回腸のみの生検）を用いたアブレーションスタディを実施し、性能のばらつきと臨床応用可能性を評価した。

実験結果

リサーチクエスチョン

• RQ1 内視鏡画像ラベルのみで学習した弱教師あり深層学習モデルが、IBD生検における組織像特徴を正確に予測できるか？
• RQ2 これらのモデルが生成するアテンションマップが、病理医による検証済みの組織像炎症パターンと整合する炎症部位を適切に局在化できるか？
• RQ3 CoNICモデルによる免疫細胞集団の予測結果は、アテンションマップおよび病理医による炎症記述とどの程度一致するか？
• RQ4 SPARC IBDデータセット上でエンドツーエンド微調整することで、TCGAなどの外部データセットからの転移学習に比べて性能が向上するか？
• RQ5 これらのモデルを用いて、予測された重症度順に生検を優先順位付けし、病理医が最も病変の強い領域に的確に注目できるようにできるか？

主な発見

• HIPT-E2Eモデルは、クローン病と潃瘍性大腸炎を区別するタスクで最高AUC 0.87を達成し、DSMIL-E2E（p < 0.0001）を著しく上回った。
• 正常対病変組織の分類タスクでは、HIPT-E2EモデルがAUC 0.81を達成し、アテンションマップと病理医がアノテートした炎症領域とのDice係数は0.625であった。
• 内視鏡的重症度スコアの分類において、HIPT-E2Eモデルはクローン病でAUC 0.80、潰瘍性大腸炎でAUC 0.80を達成し、強い予測能力を示した。
• 潰瘍性大腸炎において、好酸球の割合が最も有意な組織像特徴であった（p = 0.0007）一方、クローン病では好酸球比が最も予測的であった（p = 0.0002）。
• SPARC IBDデータセット上でエンドツーエンド学習を実施したことで、外部データセット（例：TCGA）からの微調整に比べて性能が向上した。これは、ドメイン特化型の自己教師あり学習が特徴学習を改善することを示唆している。
• 潃瘍性大腸炎のみ、または大腸生検のみで学習した場合、性能が向上したが、回腸生検のみのサブセットでは性能が低下した。これは、データ量の不足と組織の形態的複雑性の高さが要因と考えられる。