[論文レビュー] TransMed: Transformers Advance Multi-modal Medical Image Classification

Yin Dai, Yifan Gao|arXiv (Cornell University)|Mar 10, 2021

Advanced Neural Network Applications参考文献 28被引用数 10

ひとこと要約

TransMedは、自己注意機構を用いて複数モodal間の長距離依存関係をモデル化するとともに、CNNを用いて局所的特徴抽出を行うハイブリッドCNN-Transformerアーキテクチャを提案する。多モodal医療画像分類において、パラオイド腫瘍分類で87.0%の精度（TransMed-T）を達成し、先行手法と比較して顕著に少ないパラメータ数とFLOPsを実現した。

ABSTRACT

Over the past decade, convolutional neural networks (CNN) have shown very competitive performance in medical image analysis tasks, such as disease classification, tumor segmentation, and lesion detection. CNN has great advantages in extracting local features of images. However, due to the locality of convolution operation, it can not deal with long-range relationships well. Recently, transformers have been applied to computer vision and achieved remarkable success in large-scale datasets. Compared with natural images, multi-modal medical images have explicit and important long-range dependencies, and effective multi-modal fusion strategies can greatly improve the performance of deep models. This prompts us to study transformer-based structures and apply them to multi-modal medical images. Existing transformer-based network architectures require large-scale datasets to achieve better performance. However, medical imaging datasets are relatively small, which makes it difficult to apply pure transformers to medical image analysis. Therefore, we propose TransMed for multi-modal medical image classification. TransMed combines the advantages of CNN and transformer to efficiently extract low-level features of images and establish long-range dependencies between modalities. We evaluated our model for the challenging problem of preoperative diagnosis of parotid gland tumors, and the experimental results show the advantages of our proposed method. We argue that the combination of CNN and transformer has tremendous potential in a large number of medical image analysis tasks. To our best knowledge, this is the first work to apply transformers to medical image classification.

研究の動機と目的

• 多モダリティ医療画像において、CNNが長距離依存関係を捉える能力に制限を受ける問題に対処する。
• 小規模な医療データセットでは純粋なTransformerの性能が低い問題を、CNNと組み合わせることで克服する。
• 計算コストを低く抑えつつ、モダリティ間の関係を効果的にモデル化できる効率的な多モダリティ統合戦略を開発する。
• 特に多様な画像モダリティの統合を要するタスクにおいて、Transformerの有効性を実証する。
• 分類を越えるさまざまな医療画像処理タスクに適応可能な柔軟で拡張可能なアーキテクチャを提案する。

提案手法

• 各モダリティからの局所的特徴抽出のため、CNNブランチ（ResNet18/34/50/152）を統合する。
• 多頭注目（multi-head self-attention）を用いて、複数モダリティ間の長距離依存関係をモデル化するため、ビジョンTransformer（DeiT-Tiny/Small/Base）ブランチを用いる。
• 学習可能な統合モジュールを用いて、両ブランチの特徴を特徴レベルで統合し、モダリティ間相互作用を可能にする。
• パッチベースの画像シリアル化（異なるパッチサイズKを用いる）を実施し、画像をTransformerエンコーダーに供給する。
• 多クラス分類のための標準的な交差エントロピー損失を用いて、エンドツーエンドのモデルを訓練する。
• 大規模データセットでのフルスケール事前学習を避けることで、軽量バックボーンを用いて効率性を最適化する。

実験結果

リサーチクエスチョン

• RQ1 長距離依存関係が明示的かつ意味的に意味を持つ多モダリティ医療画像において、Transformerがその依存関係を効果的にモデル化できるか？
• RQ2 入力レベル、特徴レベル、意思決定レベルの統合戦略と比較して、ハイブリッドCNN-Transformerアーキテクチャは多モダリティ医療画像分類でどのように性能を発揮するか？
• RQ3 パッチサイズの違いが、医療画像解析におけるビジョンTransformer部の性能に与える影響は何か？
• RQ4 ハイブリッドアーキテクチャは、小規模な医療画像データセットにおいて、純粋なCNNや純粋なTransformerモデルを上回る性能を発揮できるか？
• RQ5 提案手法は、精度を維持または向上させつつ、計算コストをどの程度低減できるか？

主な発見

• TransMed-Tはパラオイド腫瘍分類で87.0%の精度を達成し、P3Dと比較して平均精度で約12.8%高い性能を示した。
• 完全なTransMed-BおよびTransMed-Lモデルではわずかな過学習が観察され、小規模データセットにおける一般化性能に限界がある可能性を示唆した。
• Transformerブランチを削除すると精度が71.3%に低下し、パラメータ数のわずかな増加でモダリティ間関係をモデル化する上でその重要性が明確になった。
• CNNブランチを削除すると性能が急激に低下（51.3%の精度）し、小規模データ環境下での局所的特徴抽出の重要性が強調された。
• 最適なパッチサイズはK=2であり、87.0%の精度を達成した。パッチサイズが大きくなる（K≥8）と、意味的情報の損失により性能が低下した。
• TransMedは、先行手法と比較して顕著に少ないパラメータ数（17M）とFLOPs（0.09 TFLOPs）を実現し、高い効率性を示した。