[論文レビュー] HATNet: An End-to-End Holistic Attention Network for Diagnosis of Breast Biopsy Images

Sachin Mehta, Ximing Lu+4 more|arXiv (Cornell University)|Jul 25, 2020

AI in cancer detection被引用数 5

ひとこと要約

HATNet は、パッチベースの監視を用いずに、グローバルなコンテキストモデリングを可能にするエンドツーエンドのハーモニックアテンションネットワークであり、自己注意メカニズムを用いてギガピクセルスケールの乳がん生検画像を分類する。HATNet は Y-Net より 8% の高い正確性を達成し、導管およびストーマル組織からの臨床的関連性のある表現を学習することで、病理学者の性能に並ぶ。

ABSTRACT

Training end-to-end networks for classifying gigapixel size histopathological images is computationally intractable. Most approaches are patch-based and first learn local representations (patch-wise) before combining these local representations to produce image-level decisions. However, dividing large tissue structures into patches limits the context available to these networks, which may reduce their ability to learn representations from clinically relevant structures. In this paper, we introduce a novel attention-based network, the Holistic ATtention Network (HATNet) to classify breast biopsy images. We streamline the histopathological image classification pipeline and show how to learn representations from gigapixel size images end-to-end. HATNet extends the bag-of-words approach and uses self-attention to encode global information, allowing it to learn representations from clinically relevant tissue structures without any explicit supervision. It outperforms the previous best network Y-Net, which uses supervision in the form of tissue-level segmentation masks, by 8%. Importantly, our analysis reveals that HATNet learns representations from clinically relevant structures, and it matches the classification accuracy of human pathologists for this challenging test set. Our source code is available at \\url{https://github.com/sacmehta/HATNet}

研究の動機と目的

• ギガピクセルスケールのヒストパスロジー画像におけるエンドツーエンドディープネットワークの学習の計算的非現実性に対処すること。
• グローバルコンテキストを失い、臨床的に関連する組織構造を正しくモデリングできないパッチベース手法の限界を克服すること。
• 明示的な監視なしにグローバル表現を学習する自己注意ベースのアーキテクチャを開発し、診断の正確性を向上させること。
• モデルのアテンションメカニズムが、導管やストーマル組織のような臨床的に有意義な構造と一致するかどうかを検証すること。
• 挑戦的な乳がん生検画像分類タスクにおいて、熟練した人間の病理学者の診断性能を同等または上回ること。

提案手法

• HATNet は、全ギガピクセルスケールの生検画像を「バッグ」として扱い、バッグオブワードフレームワークを用いて画像パッチ（単語）に分割する。
• 階層的な自己注意メカニズムを採用し、パッチ間（単語間）および画像バッグ間（領域間）の関係を符号化することで、グローバルコンテキストモデリングを実現する。
• マルチヘッド自己注意を適用する前に、パッチレベルの埋め込みを生成するために事前学習済みの特徴抽出器（例：MNASNet）を用いる。
• スタックされた自己注意層を通じて、パッチ間およびバッグ間の関係を統合し、グローバルな画像レベル表現を学習する。
• セグメンテーションマスクやインスタンスレベルのアノテーションを必要とせず、アテンション重みを用いて顕著な領域（例：導管およびストーマル組織）を同定する。
• モデルの性能は、ROC-AUC、F1スコア、Diceスコアといった標準的な指標を用いて評価され、アテンション局在化を専門家によるアノテーションと比較する。

実験結果

リサーチクエスチョン

• RQ1 自己注意ベースのネットワークは、パッチベースの学習や監視なしに、ギガピクセルスケールの乳がん生検画像をエンドツーエンドで分類できるか？
• RQ2 HATNet のアテンションメカニズムは、導管領域やストーマル組織といった生物学的に関連性のある構造に注目しているか？
• RQ3 HATNet の性能は、Y-Net などの最先端手法と比較して、正確性および推論速度の面で優れているか？
• RQ4 HATNet のアテンションマップは、乳がん診断における臨床的妥当性を持つバイオマーカーとどの程度相関しているか？
• RQ5 HATNet は、挑戦的なテストセットにおける乳がん生検画像分類タスクで、熟練した人間の病理学者と同等の診断正確性を達成できるか？

主な発見

• HATNet は、同じテストセットにおいて、以前の最先端手法である Y-Net よりも 8% の高い分類正確性を達成した。
• モデルはベンチマークテストセットにおいて、人間の病理学者の診断性能に並ぶことを示し、臨床的関連性を有することを裏付けた。
• MNASNet をバックボーンとして用いた場合、HATNet は ROC-AUC および F1 スコアで最高を記録し、ESPNetv2 や MobileNetv2 を用いたモデルを上回った。
• 上位50%の予測されたバッグを専門家がアノテートした導管と比較したところ、HATNet のアテンションは Dice スコア 0.68 を達成した。
• ストーマル組織に関しては、上位50%の予測されたワードを用いて、Dice スコア 0.75 を達成し、病理学者がアノテートしたストーマル領域と強い一致を示した。
• 可視化結果から、HATNet はさまざまなサイズやテクスチャの導管を効果的に捉えており、がん診断における重要なバイオマーカーであるストーマル領域を優先的に注目していることが確認された。