[논문 리뷰] A comprehensive study on the prediction reliability of graph neural networks for virtual screening

Soojung Yang, Kyung Hoon Lee외 1명|arXiv (Cornell University)|2020. 03. 17.

Machine Learning in Materials Science인용 수 5

한 줄 요약

이 논문은 가상 스크리닝에서 그래프 신경망(GNN)의 예측 신뢰도에 대한 종합적인 분석을 제공하며, 출력의 확률적 해석을 강조한다. 자료 부족과 클래스 불균형 조건 하에서 모델 아키텍처, 정규화, 손실 함수를 평가하여, 적절한 정규화와 조정된 α-가중치를 가진 포칼 손실이 특히 불균형 설정에서 신뢰도와 스크리닝 성공률을 크게 향상시킴을 발견한다.

ABSTRACT

Prediction models based on deep neural networks are increasingly gaining attention for fast and accurate virtual screening systems. For decision makings in virtual screening, researchers find it useful to interpret an output of classification system as probability, since such interpretation allows them to filter out more desirable compounds. However, probabilistic interpretation cannot be correct for models that hold over-parameterization problems or inappropriate regularizations, leading to unreliable prediction and decision making. In this regard, we concern the reliability of neural prediction models on molecular properties, especially when models are trained with sparse data points and imbalanced distributions. This work aims to propose guidelines for training reliable models, we thus provide methodological details and ablation studies on the following train principles. We investigate the effects of model architectures, regularization methods, and loss functions on the prediction performance and reliability of classification results. Moreover, we evaluate prediction reliability of models on virtual screening scenario. Our result highlights that correct choice of regularization and inference methods is evidently important to achieve high success rate, especially in data imbalanced situation. All experiments were performed under a single unified model implementation to alleviate external randomness in model training and to enable precise comparison of results.

연구 동기 및 목표

• 자료 부족과 클래스 불균형 조건에서 깊이 학습 모델의 과도한 확신과 낮은 校정성으로 인한 신뢰도 부족 문제를 해결하기 위해.
• 모델 아키텍처, 정규화, 손실 함수가 분자의 성질 분류에서 예측 신뢰도에 미치는 영향을 평가하기 위해.
• 합성 화합물 선별을 위한 신뢰할 수 있는 확률 추정치를 생성하는 GNN 학습을 위한 실질적인 지침을 제공하기 위해.
• 정확도 외에도 실제 가상 스크리닝 시나리오에서의 校정성과 신뢰도를 고려하여 모델 성능을 평가하기 위해.
• 정밀도 또는 재현율을 높이는 데 초점을 맞춘 가상 스크리닝 응용 분야에 최적의 학습 전략—특히 정규화 및 손실 함수 선택—을 제안하기 위해.

제안 방법

• 모든 실험에서 동일한 GNN 구현체를 사용하여 학습의 랜덤성을 최소화하고 공정한 비교를 보장한다.
• GCN, GIN, GraphSAGE와 같은 다양한 GNN 아키텍처를 동일한 학습 및 평가 프로토콜 하에서 평가한다.
• 가중치 감소, 드롭아웃, 몬테카를로 드롭아웃(MC-DO)과 같은 정규화 기법을 체계적으로 분석하여 모델 校정성에 미치는 영향을 평가한다.
• 이진 교차 엔트로피, 포칼 손실(가변 α 및 γ를 가짐), 가중치가 부여된 교차 엔트로피를 비교하여 성능과 신뢰도를 평가한다.
• 예측 신뢰도는 校정 곡선, 기대 校정 오차(ECE), 엔트로피 히스토GRAM을 사용하여 신뢰도-정확도 일치 정도로 정량화한다.
• 실제 가상 스크리닝 조건을 시뮬레이션하기 위해 불균형 데이터셋을 사용한 분자의 성질 분류 작업에서 평가를 수행한다.

실험 결과

연구 질문

• RQ1 다양한 GNN 아키텍처는 분자의 성질 분류에서 확률적 예측의 신뢰도에 어떻게 영향을 미치는가?
• RQ2 특히 가중치 감소와 MC-DO를 포함한 정규화는 자료 부족과 클래스 불균형 조건에서 모델 校정성 향상에 얼마나 기여하는가?
• RQ3 특히 다양한 α 및 γ 값으로 설정된 포칼 손실은 예측 신뢰도와 스크리닝 성능에 어떻게 영향을 미치는가?
• RQ4 자료가 희소하고 불균형한 조건에서 GNN의 확률적 출력은 가상 스크리닝에 신뢰할 수 있는가?
• RQ5 어떤 학습 및 추론 전략이 예측의 정확도를 유지하면서도 가상 스크리닝의 성공률을 최대화하는가?

주요 결과

• 특히 몬테카를로 드롭아웃(MC-DO)을 포함한 적절한 정규화는 모델의 校정성 향상과 예측 과도 확신 감소에 크게 기여한다.
• α ≠ 0.5 및 γ > 0.0 조건에서 포칼 손실은 표준 교차 엔트로피보다 불균형 데이터 설정에서 더 뛰어난 성능을 보이며, 신뢰도와 스크리닝 성공률을 향상시킨다.
• α ≠ 0.5로 설정된 가중치가 부여된 교차 엔트로피는 클래스 불균형을 다루는 데 매우 효과적이며, 정밀도와 재현율 간의 균형을 더 잘 확보한다.
• 포칼 손실에서 높은 γ 값은 손실의 본질적인 비용 민감성으로 인해 소수 클래스에 대한 과적합을 유도하므로 예측 신뢰도를 떨어뜨린다.
• 적절한 정규화 및 손실 함수로 학습된 모델은 기대 校정 오차(ECE) 감소가 더 크고, 신뢰도와 정확도 간의 일치가 더 잘 이루어진다.
• 이 연구는 신뢰도를 떨어뜨리는 신뢰도 페널티를 피하고, 특정 가상 스크리닝 목표에 맞게 손실 함수의 α-가중치를 맞춤 설정하는 것이 바람직하다고 권장한다.