[논문 리뷰] Evaluating Scalable Uncertainty Estimation Methods for DNN-Based Molecular Property Prediction

Gabriele Scalia, Colin A. Grambow외 3명|arXiv (Cornell University)|2019. 10. 07.

Machine Learning in Materials Science참고 문헌 51인용 수 6

한 줄 요약

이 논문은 QM9 데이터셋에서 분자의 성질 예측을 위한 그래프 컬러리피케이션 신경망(GCNNs)에서 확장 가능한 불확실성 추정 기법—MC-Dropout, 딥 앙상블, 부트스트래핑—을 평가한다. 이는 암시적 불확실성과 경험적 불확실성을 분리하는 통합 프레임워크를 제안하며, 특히 도메인 이탈 상황에서 보다 우수한 校정성(calibration)과 내성성(robustness)을 보이는 앙상블과 부트스트래핑이 MC-Dropout을 뛰어넘는 것으로 나타났다.

ABSTRACT

Advances in deep neural network (DNN) based molecular property prediction have recently led to the development of models of remarkable accuracy and generalization ability, with graph convolution neural networks (GCNNs) reporting state-of-the-art performance for this task. However, some challenges remain and one of the most important that needs to be fully addressed concerns uncertainty quantification. DNN performance is affected by the volume and the quality of the training samples. Therefore, establishing when and to what extent a prediction can be considered reliable is just as important as outputting accurate predictions, especially when out-of-domain molecules are targeted. Recently, several methods to account for uncertainty in DNNs have been proposed, most of which are based on approximate Bayesian inference. Among these, only a few scale to the large datasets required in applications. Evaluating and comparing these methods has recently attracted great interest, but results are generally fragmented and absent for molecular property prediction. In this paper, we aim to quantitatively compare scalable techniques for uncertainty estimation in GCNNs. We introduce a set of quantitative criteria to capture different uncertainty aspects, and then use these criteria to compare MC-Dropout, deep ensembles, and bootstrapping, both theoretically in a unified framework that separates aleatoric/epistemic uncertainty and experimentally on the QM9 dataset. Our experiments quantify the performance of the different uncertainty estimation methods and their impact on uncertainty-related error reduction. Our findings indicate that ensembling and bootstrapping consistently outperform MC-Dropout, with different context-specific pros and cons. Our analysis also leads to a better understanding of the role of aleatoric/epistemic uncertainty and highlights the challenge posed by out-of-domain uncertainty.

연구 동기 및 목표

• 딥 러닝을 통한 분자의 성질 예측에 있어 확장 가능한 불확실성 추정 기법을 평가하는 것, 특히 GCNN에 초점을 맞춘다.
• 약물 발견에서 흔한 도메인 외 분자에 대해 딥 네트워크(DNN)의 불확실성 정량화 문제를 해결하는 것.
• 통합 프레임워크를 활용해 암시적 불확실성과 경험적 불확실성을 구분하면서 MC-Dropout, 딥 앙상블, 부트스트래핑을 비교하는 것.
• 순위 신뢰도, 校정성(두 가지 정의), 산산화도, 도메인 이탈에 대한 내성성 등 다양한 기준으로 방법을 평가하는 것.
• 데이터 편향과 분포 이탈이 흔한 화학정보학적 맥락에서 불확실성 방법의 종합적이고 정량적인 비교를 제공하는 것.

제안 방법

• 딥 네트워크(DNN)에서 암시적(데이터 기반) 불확실성과 경험적(모델 기반) 불확실성을 분리하는 통합 이론적 프레임워크를 제안한다.
• GCNN에서 효율적인 근사 베이지안 추론을 위해 Concrete Dropout을 활용한 MC-Dropout을 적용한다.
• 딥 앙상블과 데이터 부트스트래핑을 근사 베이지안 추론의 확장 가능한 대안으로 적용한다.
• 도메인 이탈에 대한 내성성 평가를 위해 스케폴드 기반 훈련/검증/테스트 분할을 사용한 QM9 데이터셋을 활용한다.
• 두 가지 校정성 정의를 사용한다: 오차 기반(불확실성에 따라 구간 나누기)과 신뢰도 기반(예측된 불확실성에 따라 구간 나누기)이며, 통계적 평가를 수행한다.
• 불확실성 순위, 산산화도(추정된 이질성), 도메인 외 일반화 성능 평가를 위한 지표를 도입한다.

실험 결과

연구 질문

• RQ1 MC-Dropout, 딥 앙상블, 부트스트래핑가 서로 다른 정의에 따라 불확실성 校정성에서 어떻게 비교되는가?
• RQ2 어느 방법이 예측의 신뢰도 순서로 정렬하고 신뢰할 수 있는 예측을 가장 잘 식별하는가?
• RQ3 각 방법이 경험적 불확실성과 암시적 불확실성 성분을 별도로 추정할 때 어떻게 성능을 보이는가?
• RQ4 불확실성 추정이 오차 감소에 미치는 영향은 무엇이며, 특히 도메인 이탈 상황에서 어떻게 작용하는가?
• RQ5 스케폴드 기반 데이터 분할을 사용할 때, 도메인 외 분자에 대한 내성성에서 각 방법은 어떻게 비교되는가?

주요 결과

• 앙상블과 부트스트래핑은 항상 MC-Dropout보다 불확실성 校정성에서 뛰어나며, 특히 경험적 불확실성 校정성과 전체 도메인 외 校정성에서 부트스트래핑이 더 뛰어난 성능을 보였다.
• MC-Dropout는 비균일한 불확실성 추정과 데이터 희소성로 인해 고불확실성 영역에서 校정성이 더 불안정한 경향을 보였다.
• 불확실성 분포가 비대칭일 경우(분자 데이터셋에서 흔한 경우), 오차 기반 校정성보다 신뢰도 기반 校정성이 더 낮은 노이즈를 보였다.
• 이 연구는 경험적 불확실성이 총 오차에 상당한 기여를 하며, 화학적 공간에서 신뢰할 수 있는 예측을 위해 그 정량화가 필수적임을 밝혀냈다.
• 모든 방법이 도메인 내 설정에서는 뛰어난 성능를 보였지만, 도메인 외 불확실성 校정성에서는 어려움을 겪었으며, 이는 실생활 응용에서의 핵심 한계를 드러냈다.
• 앙상블은 전체 MAE와 순위 성능에서 뛰어났고, 부트스트래핑는 분포 이탈 상황에서 모델 불확실성을 더 잘 포착하는 데 장점을 보였다.