[論文レビュー] Reusability report: Prostate cancer stratification with diverse biologically-informed neural architectures

Christian Pedersen, Tiberiu Teşileanu+5 more|arXiv (Cornell University)|Sep 28, 2023

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本研究は、前立腺がん分類のための生物学的知識を組み込んだ深層ニューラルネットワーク、P-NETの再現性と頑健性を検証し、Reactome経路情報がその性能に不可欠であることを示した。さらに、P-NETとグラフニューラルネットワーク（GNN）という異なるニューラルアーキテクチャが、類似した全体的な精度を示すにもかかわらず、患者ごとの予測が著しく異なることが判明し、臨床AIモデルにおけるアーキテクチャ固有のバイアスが浮き彫りになった。

ABSTRACT

In Elmarakeby et al., "Biologically informed deep neural network for prostate cancer discovery", a feedforward neural network with biologically informed, sparse connections (P-NET) was presented to model the state of prostate cancer. We verified the reproducibility of the study conducted by Elmarakeby et al., using both their original codebase, and our own re-implementation using more up-to-date libraries. We quantified the contribution of network sparsification by Reactome biological pathways, and confirmed its importance to P-NET's superior performance. Furthermore, we explored alternative neural architectures and approaches to incorporating biological information into the networks. We experimented with three types of graph neural networks on the same training data, and investigated the clinical prediction agreement between different models. Our analyses demonstrated that deep neural networks with distinct architectures make incorrect predictions for individual patient that are persistent across different initializations of a specific neural architecture. This suggests that different neural architectures are sensitive to different aspects of the data, an important yet under-explored challenge for clinical prediction tasks.

研究の動機と目的

• 公開済みのコードと現代的なPyTorch実装を用いて、前立腺がん分類のための生物学的知識を組み込んだP-NETモデルの再現性を検証すること。
• ランダムなスパース化と比較することで、生物学的知識に基づくスパース化のモデル性能への寄与を評価すること。
• 同じデータセット上で、特に3種類のグラフニューラルネットワーク（GNN）を評価し、予測性能と一貫性を比較すること。
• 同じアーキテクチャの異なる初期化においても継続的に現れる患者ごとの予測差異を調査し、アーキテクチャ固有のバイアスを特定すること。
• 解釈可能な機械学習を用いたがんゲノム研究におけるアーキテクチャ設計の臨床的意義を検討すること。

提案手法

• コードの再利用性を向上させ、現代的なディープラーニングライブラリとの整合性を確保するため、P-NETのオリジナルモデルをPyTorchで再実装した。
• 807例の前立腺がん患者から成る同じ訓練セットを用いて、P-NETの30個のランダム初期化されたインスタンスと、3種類のGNN変種（GCN、GAT、GraphSAGE）を訓練した。
• P-NETのスパarsityを固定し、生物学的知識に基づく経路構造の影響を隔離するために、経路のランダムな入れ替えと比較した。
• 102例のホールドアウトテストセットを用いて、AUC、AUPR、F1スコア、精度、再現率、正解率といった標準指標でモデルを評価した。
• モデルの予測同士の相関行列を計算し、アーキテクチャ間での一致度を定量化するとともに、患者ごとの予測差異を分析した。
• 予測差異の有意性を評価するために、統計的検定（コルモゴロフ・スミルノフ検定、FDR補正済み）を実施した。

実験結果

リサーチクエスチョン

• RQ1 公開済みのコードと現代的なPyTorch実装を用いて、前立腺がん分類のためのオリジナルP-NETモデルは再現可能か？
• RQ2 スパースネスとは独立して、生物学的知識に基づくReactome経路情報がP-NETの性能にどの程度寄与しているか？
• RQ3 異なるインダクティブバイアスを持つグラフニューラルネットワーク（GCN、GAT、GraphSAGE）は、同じデータセット上でP-NETと比較して、転移性前立腺がんの予測性能にどの程度差があるか？
• RQ4 同じニューラルアーキテクチャの異なる初期化においても、患者ごとの誤った予測が継続的に現れるか？ これは、アーキテクチャバイアスの存在を示唆するか？
• RQ5 異なるニューラルアーキテクチャが、同じ患者に対してどのように異なる予測を下すか？ その結果、臨床意思決定にどのような影響を及えるか？

主な発見

• PyTorchによるP-NETの再実装は、オリジナルの結果を高い忠実度で再現した。これにより、コアモデルの再現性が確認された。
• スパースネスは維持したが生物学的構造を除去した経路のランダムな入れ替えでは、性能が顕著に低下した。これにより、P-NETの成功には生物学的知識が不可欠であることが証明された。
• GCN、GAT、GraphSAGEのGNNは、P-NETよりわずかに低い全体的な性能を示した。AUPRは0.86 ± 0.01であったのに対し、P-NETは0.89 ± 0.01であった。
• P-NETとGNNの予測間の相関は低く（平均ピアソン相関係数 = 0.682）、異なるアーキテクチャがデータの異なる側面に注目していることが示された。
• 102例のテスト患者のうち50例では、GATとP-NETの予測転移確率に10%以上の差が認められ、これらの差は統計的に有意であった（FDR < 0.05）。
• 誤った予測はランダムではなく、同じアーキテクチャの複数の重み初期化においても継続的に現れた。これは、アーキテクチャ設計が臨床予測に体系的かつ非ランダムなバイアスをもたらしていることを示している。