[論文レビュー] Multi-Modality Information Fusion for Radiomics-based Neural Architecture Search

Yige Peng, Lei Bi+3 more|arXiv (Cornell University)|Jul 12, 2020

Radiomics and Machine Learning in Medical Imaging参考文献 22被引用数 4

ひとこと要約

本稿では、PET-CTラジオミクスにおける最適な畳み込みニューラルネットワークアーキテクチャと統合戦略を同時に探索する自動化手法であるマルチモダリティニューラルアーキテクチャサーチ（MM-NAS）を提案する。PETおよびCT画像のエンドツーエンドでアーキテクチャに依存しない統合を可能にすることで、MM-NASは軟部肉腫患者における遠隔転移予測において3次元AUC 0.896を達成し、手作業による特徴工学や手動設計を一切用いずに最先端の手法を上回った。

ABSTRACT

'Radiomics' is a method that extracts mineable quantitative features from radiographic images. These features can then be used to determine prognosis, for example, predicting the development of distant metastases (DM). Existing radiomics methods, however, require complex manual effort including the design of hand-crafted radiomic features and their extraction and selection. Recent radiomics methods, based on convolutional neural networks (CNNs), also require manual input in network architecture design and hyper-parameter tuning. Radiomic complexity is further compounded when there are multiple imaging modalities, for example, combined positron emission tomography - computed tomography (PET-CT) where there is functional information from PET and complementary anatomical localization information from computed tomography (CT). Existing multi-modality radiomics methods manually fuse the data that are extracted separately. Reliance on manual fusion often results in sub-optimal fusion because they are dependent on an 'expert's' understanding of medical images. In this study, we propose a multi-modality neural architecture search method (MM-NAS) to automatically derive optimal multi-modality image features for radiomics and thus negate the dependence on a manual process. We evaluated our MM-NAS on the ability to predict DM using a public PET-CT dataset of patients with soft-tissue sarcomas (STSs). Our results show that our MM-NAS had a higher prediction accuracy when compared to state-of-the-art radiomics methods.

研究の動機と目的

• 特徴工学やネットワークアーキテクチャ選定を含むラジオミクスパイプラインの設計における人的作業を排除すること。
• 現在のラジオミクス手法が専門家が定義した統合戦略に依存するための不適切なマルチモダリティ統合を是正すること。
• PET-CTスキャンから最適なマルチモダリティ画像表現を学習するエンドツーエンドで自動化された手法を開発すること。
• 最小限の人的バイアスで深層学習を用いて軟部肉腫患者の遠隔転移予測精度を向上させること。

提案手法

• 2次元および3次元CNN用の最適な計算セル（通常および低減）を自動的に発見するために、微分可能ニューラルアーキテクチャサーチ（NAS）を採用した。
• PETおよびCT特徴をネットワークの複数段階で統合するための、さまざまな演算（例：畳み込み、プーリング）と接続を含むサーチスペースを設計した。
• アーキテクチャサーチプロセス内にマルチモダリティ統合を統合し、トレーニング中に自然に学習された統合モジュールが出現するようにした。
• 公開のPET-CT STSデータセットを用いた5分割交差検証において、1回の重み共有戦略を用いて効率的にアーキテクチャを探索した。
• エアリー停止と学習率スケジューリングを用いた標準的なディープラーニングトレーニングプロトコルに従い、最終アーキテクチャをトレーニングおよび評価した。
• 6つの指標（正解率、適合率、F1スコア、AUC、感度、特異度）を用いて性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 自動化されたニューラルアーキテクチャサーチフレームワークは、PET-CTスキャンからの遠隔転移予測において、手動または手作業によるラジオミクスパイプラインを上回ることができるか？
• RQ2 ネットワークアーキテクチャと統合戦略をエンドツーエンドで同時に探索することは、順次的な特徴抽出と手動による統合よりも優れたパフォーマンスをもたらすか？
• RQ3 手作業による特徴や固定アーキテクチャを用いる最先端のラジオミクス手法と比較して、MM-NASの性能はどのように異なるか？
• RQ4 軟部肉腫における転移の可能性を予測するうえで、3次元ボリュームモデリングと2次元スライスベースモデリングの貢献度はそれぞれいかほどか？
• RQ5 事前に抽出された特徴の後処理的統合と比較して、ネットワークの複数段階で学習されたマルチモダリティ統合は予測性能を向上させるか？

主な発見

• 3次元MM-NASはAUC 0.896を達成し、3DMCL、HC+RF、DLHNを含むすべてのベースライン手法を上回った。
• 48例のPET-CTデータセットにおいて、3次元MM-NASは正解率0.896、感度0.917、特異度0.875、適合率0.880、F1スコア0.898を達成した。
• 3次元MM-NASは2次元および3次元の単一モダリティCNN（例：3D PET-CT CNN AUC = 0.773）を顕著に上回り、アーキテクチャと統合の共同探索の価値を示した。
• 手作業による特徴工学を一切必要としないにもかかわらず、手作業と深層特徴を組み合わせた最先端手法3DMCLを上回った。
• ネットワークアーキテクチャ内での学習された統合は、別々に抽出された特徴の後処理的統合よりも優れた表現学習をもたらすことを示した。
• PETベースのモデルがCTベースのモデルを上回った。これは、PETが腫瘍生物学に機能的に感受性が高く、MM-NASのエンドツーエンド学習によってその感度が強化されたことを示している。