[論文レビュー] Multi-View Hypercomplex Learning for Breast Cancer Screening

Eleonora Lopez, Eleonora Grassucci+1 more|arXiv (Cornell University)|Apr 12, 2022

AI in cancer detection被引用数 6

ひとこと要約

本稿では、放射線科医が複数の視野を併用して読影するのを模倣するように、複数のマンモグラム視野間の相関をモデル化するためのハイパーコンプレックスニューラルネットワーク（PHResNet、PHYSEnet、PHYBOnet）を提案する。この手法は、パラメータ化されたハイパーコンプレックス代数を用い、すべての視野を同時に処理することで、従来の実数値モデルや最先端モデルを上回る性能を発揮し、AUCと正答率の向上を実現するとともに、患者単位および乳房単位の分析を可能にし、頑健で解釈可能な特徴抽出を実現する。

ABSTRACT

Radiologists interpret mammography exams by jointly analyzing all four views, as correlations among them are crucial for accurate diagnosis. Recent methods employ dedicated fusion blocks to capture such dependencies, but these are often hindered by view dominance, training instability, and computational overhead. To address these challenges, we introduce multi-view hypercomplex learning, a novel learning paradigm for multi-view breast cancer classification based on parameterized hypercomplex neural networks (PHNNs). Thanks to hypercomplex algebra, our models intrinsically capture both intra- and inter-view relations. We propose PHResNets for two-view exams and two complementary four-view architectures: PHYBOnet, optimized for efficiency, and PHYSEnet, optimized for accuracy. Extensive experiments demonstrate that our approach consistently outperforms state-of-the-art multi-view models, while also generalizing across radiographic modalities and tasks such as disease classification from chest X-rays and multimodal brain tumor segmentation. Full code and pretrained models are available at https://github.com/ispamm/PHBreast.

研究の動機と目的

• 既存の複数視野ディープラーニングモデルが視野を独立して扱い、視野間の相関を活用できないという限界に対処すること。
• モデルが片方の視野に偏る、あるいは単一視野ベースラインに劣る問題を克服すること。
• 複数のマンモグラム視野を統合的かつ相関関係を保った入力として処理する新しいフレームワークを構築し、マンモグラフィ検査の臨床的・複数視野的性質を維持すること。
• 提案手法が異なるデータセット、タスク（セグメンテーションを含む）、医療画像応用分野において一般化性と頑健性を示すことを実証すること。
• 既存のディープラーニングモデルと互換性があり、臨床および研究現場での導入に適した、柔軟で拡張可能なアーキテクチャを提供すること。

提案手法

• パラメータ化されたハイパーコンプレックス乗算（PHM）および畳み込み（PHC）層を用いたパラメータ化されたハイパーコンプレックスニューラルネットワーク（PHNN）を採用し、複数のマンモグラム視野間の相関をモデル化する。
• 二視野（同側）検査を想定したPHResNet、四視野（両側および同側）検査を想定したPHYSEnetとPHYBOnetを設計し、患者単位または乳房単位の統合的分析を可能にする。
• 共有エンコーダーとボトルネックモジュールにPHC層を統合し、両側視野間での共有表現を学習し、ハイパーコンプレックス相互作用によって特徴抽出を強化する。
• 活性マップとサリエンシーマップを用いてモデルの注目領域を可視化・解釈し、ハイパーコンプレックスモデルが両視野に注目しているのを示す。これに対して実数値モデルは注目が一方的である。
• 特にROIアノテーションが限られた小規模データセットにおいて有益なため、事前学習重みを用いた転移学習でモデルを訓練する。
• GitHubを通じて完全なコードと事前学習済みモデルを公開し、再現性を確保することで、多様な医療画像パイプラインへの統合を支援する。

実験結果

リサーチクエスチョン

• RQ1 ハイパーコンプレックスニューラルネットワークは、複数のマンモグラム視野間の相関を効果的にモデル化でき、実数値の複数視野ネットワークと比較して分類性能が向上するのか？
• RQ2 提案手法は、公的データセットにおける乳がん分類において、最先端の実数値モデルおよびマルチパスアーキテクチャを上回る性能を示すのか？
• RQ3 ハイパーコンプレックスモデルは、特定の視野に依存するのではなく、すべての視野からの情報をどれだけ活用しているのか？
• RQ4 セグメンテーションを含む、異なる画像モodalitiyおよびタスクに適用した場合、この手法はどの程度頑健であるか？
• RQ5 データセットが1、2、または4視野であり、データ可用性が異なるような特定のデータ環境において、どのモデルアーキテクチャ（PHResNet、PHYSEnet、PHYBOnet）が最も適しているのか？

主な発見

• 提案されたハイパーコンプレックスモデルは、公的乳がん分類ベンチマークにおいて、実数値モデルや最先端手法を上回る有意に高いAUCと正答率を達成した。
• PHYSEnetとPHYBOnetは、活性マップにおいてCC視野とMLO視野の両方に明確に注目しているのに対し、SEnet（実数値ベースライン）はCC視野にのみ注目している。
• サリエンシーマップにより、ハイパーコンプレックスモデルが両方の乳房からの情報を活用していることが確認され、悪性腫瘍に局在した注目が見られた。一方、実数値モデルは腫瘍がMLO視野にのみ存在する場合、MLO視野を無視していた。
• モデルは異なるデータセットやタスク（セグメンテーションを含む）に対しても頑健であることが示され、二値分類を超えた一般化性能を証明した。
• 事前学習済みモデルとコードの公開により、特にROIアノテーションが限られたデータセットにおいて、効果的な転移学習が可能となった。
• 本手法により、4視野を同時に統合的に処理することで、臨床実践と同様に視野間の相関を捉える患者単位の分析が可能となり、正確な診断に不可欠な相関関係を把握できるようになった。