[논문 리뷰] Reusability report: Prostate cancer stratification with diverse biologically-informed neural architectures

Christian Pedersen, Tiberiu Teşileanu외 5명|arXiv (Cornell University)|2023. 09. 28.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 연구는 전립선암 분류를 위한 생물학적으로 정보화된 딥 뉴럴 네트워크인 P-NET의 재현성과 강건성을 검증하며, Reactome 경로 지식이 그 성능에 필수적임을 입증한다. 또한 P-NET와 그래프 신경망(GNN)이라는 서로 다른 신경망 아키텍처가 유사한 전체 정확도를 보이지만, 환자별 예측에서 지속적인 차이를 보이며, 임상 AI 모델에서 아키텍처에 기반한 편향이 있음을 드러낸다.

ABSTRACT

In Elmarakeby et al., "Biologically informed deep neural network for prostate cancer discovery", a feedforward neural network with biologically informed, sparse connections (P-NET) was presented to model the state of prostate cancer. We verified the reproducibility of the study conducted by Elmarakeby et al., using both their original codebase, and our own re-implementation using more up-to-date libraries. We quantified the contribution of network sparsification by Reactome biological pathways, and confirmed its importance to P-NET's superior performance. Furthermore, we explored alternative neural architectures and approaches to incorporating biological information into the networks. We experimented with three types of graph neural networks on the same training data, and investigated the clinical prediction agreement between different models. Our analyses demonstrated that deep neural networks with distinct architectures make incorrect predictions for individual patient that are persistent across different initializations of a specific neural architecture. This suggests that different neural architectures are sensitive to different aspects of the data, an important yet under-explored challenge for clinical prediction tasks.

연구 동기 및 목표

• 공개된 코드와 현대적인 PyTorch 구현을 사용하여 전립선암 분류를 위한 생물학적으로 정보화된 신경망인 P-NET의 원본 모델 재현성을 검증한다.
• 생물학적으로 정보화된 희박화와 무작위 희박화를 비교하여 Reactome 경로 정보가 모델 성능에 기여하는 정도를 평가한다.
• 동일한 데이터셋을 바탕으로 세 가지 그래프 신경망(GNN) 변형(즉, GCN, GAT, GraphSAGE)을 평가하여 예측 성능 및 일관성을 비교한다.
• 다른 아키텍처 간 환자별 예측 불일치를 조사하며, 모델 초기화에 관계없이 지속되는 오류를 중심으로 분석한다.
• 해악성 종양 게놈학을 위한 해석 가능한 기계학습에서 아키텍처 설계의 임상적 함의를 탐색한다.

제안 방법

• 모델 재사용성 향상과 현대 딥 러닝 라이브러리와의 호환성을 확보하기 위해 원본 P-NET 모델을 PyTorch로 재구현하였다.
• 807명의 전립선암 환자로 구성된 동일한 훈련 세트를 바탕으로 P-NET 30개 및 GNN 변형 3종(GCN, GAT, GraphSAGE)을 무작위 초기화된 상태로 훈련하였다.
• P-NET의 희박성 수준을 고정하여 생물학적으로 정보화된 경로 구조의 영향을 분리 평가하기 위해, 무작위로 재배치된 경로 할당과 비교하였다.
• 102명의 검증 세트를 사용하여 AUC, AUPR, F1, 정밀도, 재현율, 정확도 등의 표준 지표로 모델 성능을 평가하였다.
• 모델 예측 간 상관관계 행렬을 계산하여 아키텍처 간 일치도를 정량화하고, 환자별 예측 불일치를 분석하였다.
• 예측 차이의 유의미성을 평가하기 위해 통계적 검정(Kolmogorov-Smirnov, FDR 보정)을 실시하였다.

실험 결과

연구 질문

• RQ1 공개된 코드를 사용하고 현대적인 PyTorch 구현을 통해 전립선암 분류를 위한 원본 P-NET 모델이 재현 가능한가?
• RQ2 모델의 희박성 외부에서 생물학적으로 정보화된 Reactome 경로의 포함 여부가 P-NET 성능에 어느 정도 기여하는가?
• RQ3 다른 인덕티브 바이어스를 가진 그래프 신경망(GCN, GAT, GraphSAGE)이 동일한 데이터셋에서 전이성 전립선암 예측 성능에서 P-NET와 어떻게 비교되는가?
• RQ4 동일한 신경망 아키텍처의 다양한 초기화 상태에서도 지속적으로 발생하는 환자별 예측 오류가 존재하는가? 이는 아키텍처 편향을 시사하는가?
• RQ5 다른 신경망 아키텍처가 동일한 환자에 대해 어떻게 다른 예측을 내놓는가? 이는 임상 의사결정에 어떤 함의를 갖는가?

주요 결과

• PyTorch를 통한 P-NET 재구현은 원본 결과를 높은 정밀도로 재현하여 핵심 모델의 재현성을 확인하였다.
• 희박성 유지 시 생물학적 구조를 제거한 무작위 경로 재배치는 성능에 유의미한 하락을 초래하였으며, 이는 생물학적 지식이 P-NET 성공에 필수적임을 입증한다.
• GCN, GAT, GraphSAGE를 포함한 그래프 신경망은 P-NET에 비해 略적으로 낮은 전체 성능을 보였으며, AUPR 값은 0.86 ± 0.01로 P-NET의 0.89 ± 0.01보다 낮았다.
• P-NET와 GNN 예측 간 상관관계는 낮았으며(평균 피어슨 상관계수 = 0.682), 이는 아키텍처가 다른 데이터의 다른 측면을 집중적으로 고려함을 시사한다.
• 102명의 검증 환자 중 50명에서 GAT과 P-NET 간 예측 전이 확률 차이가 최소 10% 이상이었고, 이는 통계적으로 유의미했다(FDR < 0.05).
• 오류 예측은 무작위적이지 않았으며, 동일한 아키텍처의 다수의 가중치 초기화 상태에서도 지속적으로 나타났다. 이는 아키텍처 설계가 임상 예측에 체계적이고 비랜덤한 편향을 유도함을 시사한다.