[論文レビュー] HoVer-Trans: Anatomy-aware HoVer-Transformer for ROI-free Breast Cancer Diagnosis in Ultrasound Images

Yuhao Mo, Chu Han+15 more|arXiv (Cornell University)|May 17, 2022

AI in cancer detection被引用数 6

ひとこと要約

本稿では、水平および垂直方向の空間注意を用いて解剖学的先行知識を統合する、ROIフリーなTransformerベースの新規モデルHoVer-Transを提案する。パッチ、水平ストリップ、垂直ストリップの埋め込みを活用することで、高解釈性の注意マップを実現し、単一の超音波画像のみを用いても、深層学習ベースラインおよびベテランエコー技師を上回る最先端の分類性能を達成する。

ABSTRACT

Ultrasonography is an important routine examination for breast cancer diagnosis, due to its non-invasive, radiation-free and low-cost properties. However, the diagnostic accuracy of breast cancer is still limited due to its inherent limitations. It would be a tremendous success if we can precisely diagnose breast cancer by breast ultrasound images (BUS). Many learning-based computer-aided diagnostic methods have been proposed to achieve breast cancer diagnosis/lesion classification. However, most of them require a pre-define ROI and then classify the lesion inside the ROI. Conventional classification backbones, such as VGG16 and ResNet50, can achieve promising classification results with no ROI requirement. But these models lack interpretability, thus restricting their use in clinical practice. In this study, we propose a novel ROI-free model for breast cancer diagnosis in ultrasound images with interpretable feature representations. We leverage the anatomical prior knowledge that malignant and benign tumors have different spatial relationships between different tissue layers, and propose a HoVer-Transformer to formulate this prior knowledge. The proposed HoVer-Trans block extracts the inter- and intra-layer spatial information horizontally and vertically. We conduct and release an open dataset GDPH&SYSUCC for breast cancer diagnosis in BUS. The proposed model is evaluated in three datasets by comparing with four CNN-based models and two vision transformer models via five-fold cross validation. It achieves state-of-the-art classification performance with the best model interpretability. In the meanwhile, our proposed model outperforms two senior sonographers on the breast cancer diagnosis when only one BUS image is given.

研究の動機と目的

• 超音波画像における臨床的解釈可能性がありROIフリーな深層学習モデルを、乳がん診断に向け開発すること。
• 特に、乳がんの発生源である腺組織層とその下層（筋肉、胸部）との空間的関係を、モデルアーキテクチャに組み込むこと。
• ブラックボックスモデルの臨床的限界を克服するため、腫瘍と組織層の相互作用を反映する注意マップを生成すること。
• 今後の研究を支援するため、大規模でオープンでマルチセンターのデータセット（GDPH&SYSUCC）を公開すること。
• 単一の超音波画像のみを用いても、ベテランエコー技師を上回る診断精度を向上させること。

提案手法

• HoVer-Transモデルは、CNNとビジョンTransformerのハイブリッドアーキテクチャを採用し、層間（水平）および層内（垂直）の空間的依存関係を捉えるために、新規なHoVer-Transブロックを設計した。
• 3種類の埋め込み手法を導入：局所的特徴のためのパッチ埋め込み、層ごとの空間的文脈のための水平ストリップ埋め込み、層間の構造的連続性のための垂直ストリップ埋め込み。
• モデルは、トランスフォーマーステージ間で畳み込み層を統合することで、特徴の融合と安定性を向上させ、注意マップの品質と分類精度を向上させた。
• 解剖学的先行知識は、腺組織層（腫瘍の一般的な発生源）と深層（筋肉、胸部）との空間的関係を強調するように注意メカニズムを構造化することで符号化された。
• 本モデルは、3つのデータセット（新規に公開されたGDPH&SYSUCCデータセットを含む）を用い、5分割交差検証でエンドツーエンドに訓練された。GDPH&SYSUCCデータセットには全2,405枚の全画像が含まれる。
• 腫瘍と組織層の相互作用を強調する注意マップの可視化により、解釈性が向上し、放射線科医の推論と整合する。

実験結果

リサーチクエスチョン

• RQ1 ROIフリーな深層学習モデルは、臨床的解釈可能性を維持したまま、超音波画像における乳がん診断で優れた性能を達成できるか？
• RQ2 組織層の空間的関係に関する解剖学的先行知識を、ビジョンTransformerアーキテクチャに効果的に統合する方法は何か？
• RQ3 水平および垂直方向の空間的注意を統合することで、標準的なTransformerやCNNと比較して分類精度と注意マップ品質が向上するか？
• RQ4 本モデルは、単一の超音波画像のみを提供された場合、ベテランエコー技師を上回ることができるか？
• RQ5 パッチ、水平、垂直の各埋め込み構成の違いが、モデルの性能と解釈性に与える影響は何か？

主な発見

• HoVer-Transモデルは、3つのデータセットで最先端の分類性能を達成し、4つのCNNベースのモデルと2つのビジョンTransformerベースラインを上回った。
• 単一の超音波画像のみを提供された場合、2名のベテランエコー技師よりも顕著に高い診断精度を示した。
• アブレーションスタディにより、水平および垂直注意と1×1畳み込み層の組み合わせが、最も正確で解釈可能な注意マップを生成することが確認された。
• 最適な構成は、パッチ埋め込みを2×2解像度、水平ストリップ埋め込みを2×幅解像度、垂直ストリップ埋め込みを2×高さ解像度とするものであった。
• ROIのアノテーションがなくても、モデルは全画像のコンテキストを活用することで、腫瘍と組織層の関係理解を向上させ、高い性能を維持した。
• GDPH&SYSUCCデータセット（2か所の病院から収集された全2,405枚の画像）の公開により、今後の乳がん超音波診断分野の研究に貴重なリソースが提供された。