[論文レビュー] Inference of captions from histopathological patches

Masayuki Tsuneki, Fahdi Kanavati|arXiv (Cornell University)|Dec 17, 2021

AI in cancer detection被引用数 5

ひとこと要約

本稿では、胃腺癌のH&E染色全スライド画像から抽出した262,777枚の組織病理学的パッチと、臨床レポートから抽出した診断キャプションを組み合わせた大規模データセットPatchGastricADC22を紹介する。事前学習済みCNN特徴（EfficientNetB3およびDenseNet121）を用いたアテンションベースのRNNモデルにより、実臨床データ環境下でのパッチ集合作業におけるキャプション生成の面で有望な性能が達成され、BLEU@4スコアは0.324（±0.354）を記録した。

ABSTRACT

Computational histopathology has made significant strides in the past few years, slowly getting closer to clinical adoption. One area of benefit would be the automatic generation of diagnostic reports from H\&E-stained whole slide images which would further increase the efficiency of the pathologists' routine diagnostic workflows. In this study, we compiled a dataset (PatchGastricADC22) of histopathological captions of stomach adenocarcinoma endoscopic biopsy specimens, which we extracted from diagnostic reports and paired with patches extracted from the associated whole slide images. The dataset contains a variety of gastric adenocarcinoma subtypes. We trained a baseline attention-based model to predict the captions from features extracted from the patches and obtained promising results. We make the captioned dataset of 262K patches publicly available.

研究の動機と目的

• 新しい手動アノテーションを必要とせずに、組織病理学的パッチから診断キャプションを生成する手法の開発を目的とする。
• 実臨床の全スライド画像とレポートから得た、正確に整備されたパッチ-キャプションペairの大型データセットを構築し、医療ビジョン・ランゲージモデリングに活用することを目的とする。
• アテンションベースのモデルが、胃腺癌の複数のパッチから臨床的に関連性のあるキャプションを生成する性能を評価することを目的とする。
• 既存の非構造化臨床レポートを活用して、計算病理学におけるビジョン・ランゲージモデルを学習する可能性を検討することを目的とする。
• 研究を促進するため、公開可能なデータセットを提供することを目的とする。

提案手法

• 1つの病院から991枚のH&E染色全スライド画像を収集し、全例が腺癌と診断済みであり、x20倍拡大でデジタル化された。
• 腺癌病変を含む領域から、x10およびx20倍拡大での300x300ピクセルのパッチを抽出し、非腫瘍パッチの含みを最小限に抑えるために緩いアノテーションを用いた。
• 既存の臨床レポートから診断キャプションを抽出し、専門病理医による英語への翻訳を実施した。これにより、語彙数は277語、最大文長は50語となった。
• CNNエンコーダー（EfficientNetB3またはDenseNet121）を用いたアテンションベースのRNNモデルを訓練し、特徴抽出と自己回帰的キャプション生成を実現した。
• データ増強を適用し、最終特徴マップに対して3x3最大プーリングとグローバル平均プーリングの2つの戦略を比較した。
• アドホックなBLEU@4および平均1/2-gram一致度指標を用いてモデル性能を評価し、腺癌亜型およびモデル構成ごとに層別評価を実施した。

実験結果

リサーチクエスチョン

• RQ1 全スライド画像から抽出した組織病理学的パッチの集合から、ビジョン・ランゲージモデルが臨床的に関連性のある診断キャプションを生成できるか？
• RQ2 キャプション多様性が限られるデータセットで学習した場合、異なる腺癌亜型におけるモデル性能はどのように変動するか？
• RQ3 データ増強およびプーリング戦略（3x3 vs. 平均）は、組織病理学的パッチのキャプション生成性能に影響を及えるか？
• RQ4 事前学習済みCNN（EfficientNetB3、DenseNet121）は、ターゲットドメインでの微調整なしに、組織病理学的キャプション生成に十分に一般化できるか？
• RQ5 1つの病院の臨床レポートで学習したモデルは、計算病理学の下流応用において十分に汎用性を持つと期待できるか？

主な発見

• データ増強およびx20倍拡大での3x3最大プーリングを適用したEfficientNetB3を用いた最良のモデルが、BLEU@4スコア0.324（±0.354）を達成し、基準キャプションとの一致が妥当であることを示した。
• 同じ最良モデルの平均1/2-gram一致度は最高の0.744（±0.269）を記録し、予測キャプションにおける腺癌亜型の再現性が優れていることを示した。
• データセットに多く含まれる亜型（好・中等度分化型管状腺癌）では、BLEU@4スコアが高かったことから、データクラスの不均衡が性能に影響を与えている可能性が示された。
• BLEU@4の標準偏差が大きく（最大±0.354）、症例ごとの性能に顕著なばらつきが認められ、一部の予測はBLEU < 0.1というほぼ無意味な水準にまで低下していた。
• モデルの主な誤りモードは形態的記述の不正確さであり、亜型用語の1/2-gram一致度が高かったことから、亜型同定の誤りは主に形態記述の誤りに起因していると判明した。
• データセットPatchGastricADC22は、991枚の全スライド画像から抽出した262,777枚のパッチを含み、今後の組織病理学的レポート生成研究を支援するため、公開された。