[論文レビュー] Multimodal Data Integration for Oncology in the Era of Deep Neural Networks: A Review

Asim Waqas, Aakash Tripathi+3 more|arXiv (Cornell University)|Mar 11, 2023

Computational Drug Discovery Methods被引用数 4

ひとこと要約

本レビューでは、がん研究分野におけるマルチモーダルデータ統合のための最先端の深層学習手法、特にグラフニューラルネットワーク（GNNs）とトランスフォーマーを統合的に分析し、ゲノミクス、レントゲン画像、病理学的画像、臨床記録などの多様なデータタイプを統合することで、がんの診断、予後予測、個別化治療の向上が可能であることを示している。主な貢献は、スケーラブルで解釈可能かつ頑健なマルチモーダルのがん研究用モデルのための現在の手法、課題、今後の方向性を包括的に分析することにある。

ABSTRACT

Cancer has relational information residing at varying scales, modalities, and resolutions of the acquired data, such as radiology, pathology, genomics, proteomics, and clinical records. Integrating diverse data types can improve the accuracy and reliability of cancer diagnosis and treatment. There can be disease-related information that is too subtle for humans or existing technological tools to discern visually. Traditional methods typically focus on partial or unimodal information about biological systems at individual scales and fail to encapsulate the complete spectrum of the heterogeneous nature of data. Deep neural networks have facilitated the development of sophisticated multimodal data fusion approaches that can extract and integrate relevant information from multiple sources. Recent deep learning frameworks such as Graph Neural Networks (GNNs) and Transformers have shown remarkable success in multimodal learning. This review article provides an in-depth analysis of the state-of-the-art in GNNs and Transformers for multimodal data fusion in oncology settings, highlighting notable research studies and their findings. We also discuss the foundations of multimodal learning, inherent challenges, and opportunities for integrative learning in oncology. By examining the current state and potential future developments of multimodal data integration in oncology, we aim to demonstrate the promising role that multimodal neural networks can play in cancer prevention, early detection, and treatment through informed oncology practices in personalized settings.

研究の動機と目的

• 深層ニューラルネットワークを用いたマルチモーダル学習（MML）の最新動向、特にがん研究分野におけるグラフニューラルネットワーク（GNNs）とトランスフォーマーの分析を目的とする。
• ゲノミクス、画像診断、病理学的画像、臨床記録の分野における異種のがんデータを統合する際の主な課題を特定することを目的とする。
• クラス不均衡、モダリティ崩壊、GNNにおけるオーバースモoothing、マルチモーダルモデルにおける説明可能性の欠如といった制限要因を強調することを目的とする。
• 精密のがん研究に向けたスケーラブルで解釈可能かつ一般化可能なマルチモーダル深層学習フレームワークの開発に向けたロードマップを提示することを目的とする。
• 研究利用を目的として、定期的に更新される中央集権的な公開のがん研究データセットのリストを収集・提供することを目的とする。

提案手法

• がん研究分野における深層ニューラルネットワークを用いたマルチモーダルデータ統合に関する最近の文献を系統的レビューした。
• 異種のデータモダリティを統合するためのコアアーキテクチャとして、グラフニューラルネットワーク（GNNs）とトランスフォーマーに焦点を当てた。
• トランスフォーマーにおけるアテンションメカニズムやGNNにおけるメッセージパッシングを含む、マルチモーダル特徴抽出のためのアーキテクチャ的要素の分析を行った。
• データの不均衡、正則化、フェデレーテッドラーニングによるプライバシー保護などのデータ課題に対処するための技術を評価した。
• マルチモーダル環境下でのモデル意思決定を解釈するために、GNNExplainer や SubgraphX といった説明可能ツールを適用した。
• CLIP、FLAVA、GPT-4 といったファウンデーションモデルを、がん研究分野におけるマルチモーダル表現学習のベンチマークとして用いた。

Figure 1: Number of publications involving deep learning, graph neural networks (GNNs), GNNs in the medical domain, overall multimodal and multimodal in biomedical and clinical sciences in the period 2014-2023 [ 3 ] .

実験結果

リサーチクエスチョン

• RQ1 GNNとトランスフォーマーは、ゲノミクス、画像診断、臨床記録などのマルチモーダルのがんデータを効果的に統合する仕組みとしてどのように機能するか？
• RQ2 クラス不均衡やモダリティ崩壊といった技術的・臨床的課題が、がん研究分野におけるマルチモーダル深層学習モデルの導入に与える影響は何か？
• RQ3 臨床意思決定支援の文脈において、マルチモーダルGNNとトランスフォーマーの説明可能性と信頼性をどのように向上できるか？
• RQ4 フェデレーテッドラーニングやプライバシー保護技術は、分散型のがん研究データソース間でマルチモーダルモデルを学習するうえで、どのような役割を果たすか？
• RQ5 スケーラビリティ、不確実性の定量化、一般化の観点から、マルチモーダルのがん研究用モデルにおける主な未解決問題は何か？

主な発見

• GNNとトランスフォーマーは、ゲノム情報、画像診断、臨床記録を統合することで、腫瘍分類、予後予測、治療反応の評価といったがん研究タスクで優れた性能を示している。
• RadGenNetsモデルは、CNNとドレインネットワークを用いてPET画像、ゲノムデータ、臨床データを統合し、NSCLCにおける遺伝子変異の予測に成功した。
• モダリティ崩壊は依然として深刻な問題であり、モデルが優位なモダリティに過剰に依存し、他のモダリティを十分に活用しない傾向がある。
• GNNにおけるオーバースモoothingは、特に多くの層を経て学習を行う深層アーキテクチャで性能を制限するが、スキップコネクションやドロップアウトといった技術によりその影響を軽減できる。
• GNNExplainer や SubgraphX といった説明可能ツールは、がん研究分野におけるマルチモーダルGNNやトランスフォーマー向けに徐々に発展しつつあるが、依然として十分に発展していない。
• フェデレーテッドラーニングにより、プライバシーを保持したまま分散型のがん研究データ上でモデルを学習可能であり、複数の機関が協力して大規模なモデル開発を進める有効な道筋を提供している。

Figure 2: From population to single cell, cancer data modalities at scales.