[論文レビュー] GasHis-Transformer: A Multi-scale Visual Transformer Approach for Gastric Histopathology Image Classification.

Haoyuan Chen, Chen Li+7 more|arXiv (Cornell University)|Apr 29, 2021

AI in cancer detection参考文献 54被引用数 14

ひとこと要約

本稿では、グローバルおよびローカル特徴抽出モジュールを統合したマルチスケールのビジョナルトランスフォーマーモデル、GasHis-Transformerを提案する。このモデルは、公に提供されているH&E染色画像データセットにおいて、98.0%の正確性、98.0%の精度、100.0%の再現率、96.0%のF1スコアを達成し、ノイズおよびアドバーシャル攻撃に対して高い性能と頑健性を示している。

ABSTRACT

Existing deep learning methods for diagnosis of gastric cancer commonly use convolutional neural network. Recently, the Visual Transformer has attracted great attention because of its performance and efficiency, but its applications are mostly in the field of computer vision. In this paper, a multi-scale visual transformer model, referred to as GasHis-Transformer, is proposed for Gastric Histopathological Image Classification (GHIC), which enables the automatic classification of microscopic gastric images into abnormal and normal cases. The GasHis-Transformer model consists of two key modules: A global information module and a local information module to extract histopathological features effectively. In our experiments, a public hematoxylin and eosin (H&E) stained gastric histopathological dataset with 280 abnormal and normal images are divided into training, validation and test sets by a ratio of 1 : 1 : 2. The GasHis-Transformer model is applied to estimate precision, recall, F1-score and accuracy on the test set of gastric histopathological dataset as 98.0%, 100.0%, 96.0% and 98.0%, respectively. Furthermore, a critical study is conducted to evaluate the robustness of GasHis-Transformer, where ten different noises including four adversarial attack and six conventional image noises are added. In addition, a clinically meaningful study is executed to test the gastrointestinal cancer identification performance of GasHis-Transformer with 620 abnormal images and achieves 96.8% accuracy. Finally, a comparative study is performed to test the generalizability with both H&E and immunohistochemical stained images on a lymphoma image dataset and a breast cancer dataset, producing comparable F1-scores (85.6% and 82.8%) and accuracies (83.9% and 89.4%), respectively. In conclusion, GasHisTransformer demonstrates high classification performance and shows its significant potential in the GHIC task.

研究の動機と目的

• 従来の畳み込みニューラルネットワークが胃生検組織像分類において抱える限界を克服するため、ビジョナルトランスフォーマーベースの手法を導入すること。
• マルチスケールトランスフォーマーアーキテクチャにおいてグローバルおよびローカル情報モジュールを統合することで、胃生検組織像の特徴抽出を向上させること。
• 臨床的信頼性を確保するため、さまざまな画像劣化およびアドバーシャル攻撃下でのモデルの頑健性を評価すること。
• 異なるがんデータセットにおけるH&E染色および免疫ヒストケミカル染色の多様な染色タイプに対して、モデルの汎化能力をテストすること。
• 胃がん、リンパ腫、乳がんデータセットにおいて、既存手法と同等またはそれを上回る高い診断性能を達成すること。

提案手法

• GasHis-Transformerモデルは、グローバル情報モジュールとローカル情報モジュールを備えた二重ブランチアーキテクチャを採用し、長距離および細粒度の病理学的特徴を捉える。
• 入力パッチを異なる解像度で処理することでマルチスケール特徴表現を実現し、H&E染色胃組織画像における階層的パターンの学習を可能にする。
• ビジョナルトランスフォーマーエンコーダーは、従来の畳み込み演算に代わって自己注意メカニズムを用いて画像パッチ間の依存関係をモデル化する。
• 分類ヘッドを[CLS]トークンの表現に適用し、正常または異常な胃組織状態を予測する。
• 頑健性は、4種類のアドバーシャル攻撃と6種類の従来の画像劣化を含む10種類のノイズを注入することで評価される。
• 汎化能力は、H&Eおよび免疫ヒストケミカル染色プロトコルを用いたリンパ腫および乳がん画像を含む外部データセットを用いてテストされる。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールビジョナルトランスフォーマーモデルは、従来のCNNよりも胃生検組織像分類において優れた性能を示せるか？
• RQ2 グローバルおよびローカル特徴抽出の統合は、GHICにおける分類性能をどのように向上させるか？
• RQ3 臨床的診断文脈において、GasHis-Transformerは画像のノイズおよびアドバーシャル攻撃に対してどの程度頑健か？
• RQ4 リンパ腫および乳がんを含む、異なる染色法およびがん種にわたってモデルは一般化可能か？
• RQ5 GasHis-Transformerは、大規模で臨床的関連性の高い胃がんデータセットにおいて、どの程度の診断正確性を示すか？

主な発見

• GasHis-Transformerは、280枚のH&E染色胃生検組織画像から成るテストセットにおいて、98.0%の正確性、98.0%の精度、100.0%の再現率、96.0%のF1スコアを達成した。
• モデルは、アドバーシャル攻撃を含む10種類の異なるノイズタイプにおいても高い性能を維持し、強い頑健性を示した。
• 620枚の異常胃組織画像から成るより大きな臨床データセットにおいて、胃がん症例の同定に96.8%の正確性を達成した。
• リンパ腫データセットでの評価では、H&Eおよび免疫ヒストケミカル染色の両方で、F1スコア85.6%、正確性83.9%を達成した。
• 乳がんデータセットでは、F1スコア82.8%、正確性89.4%を記録し、がん種および染色法を越えて強い汎化能力を示した。