[논문 리뷰] Uncertainty quantification of molecular property prediction with Bayesian neural networks

Seongok Ryu, Yongchan Kwon외 1명|arXiv (Cornell University)|2019. 03. 20.

Machine Learning in Materials Science참고 문헌 16인용 수 15

한 줄 요약

이 논문은 분자 성질 예측에서 예측 불확실성을 정량화하기 위해 베이지안 그래프 컨volution 네트워크(Bayesian GCNs)를 제안하며, 불확실성을 데이터 기반(aleatoric)과 모델 기반(epistemic) 성분으로 분해한다. 예측 신뢰도와 강하게 상관관계가 있음을 입증하여 예측의 신뢰성 있는 필터링과 데이터 오류 탐지가 가능해지며, 특히 하버드 클린 에너지 프로젝트와 같은 합성 데이터셋에서 효과를 발휘함으로써 분자 AI 응용 분야의 AI 안전성을 향상시킨다.

ABSTRACT

Deep neural networks have outperformed existing machine learning models in various molecular applications. In practical applications, it is still difficult to make confident decisions because of the uncertainty in predictions arisen from insufficient quality and quantity of training data. Here, we show that Bayesian neural networks are useful to quantify the uncertainty of molecular property prediction with three numerical experiments. In particular, it enables us to decompose the predictive variance into the model- and data-driven uncertainties, which helps to elucidate the source of errors. In the logP predictions, we show that data noise affected the data-driven uncertainties more significantly than the model-driven ones. Based on this analysis, we were able to find unexpected errors in the Harvard Clean Energy Project dataset. Lastly, we show that the confidence of prediction is closely related to the predictive uncertainty by performing on bio-activity and toxicity classification problems.

연구 동기 및 목표

• 실제 응용에서 제한적이고 노이즈가 많은 학습 데이터로 인해 신뢰할 수 없는 분자 성질 예측 문제가 발생하는 데 대비하기 위해.
• 결정 부문의 신뢰성을 향상시키기 위해 분자 기계학습 모델의 예측 불확실성을 정량화하는 방법을 개발하기 위해.
• 분자 예측에서 데이터 기반(aleatoric)과 모델 기반(epistemic) 불확실성 원인을 구분하기 위해.
• 예측 불확실성이 생물활성성 및 독성 예측과 같은 이진 분류 작업에서 신뢰도의 신뢰할 수 있는 지표로 기능하는지 검증하기 위해.
• 합성 분자 데이터셋에서 비정상적인 불확실성 패턴을 분석하여 데이터 품질 문제—특히 잘못된 합성 주석—를 탐지하기 위해.

제안 방법

• 분자 성질 회귀 및 분류 작업에서 확률적 예측과 불확실성 정량화를 위해 베이지안 신경망(BNNs)을 활용한다.
• 네트워크 가중치에 대한 사후 분포를 근사하기 위해 변분 추론을 사용하여 그래프 신경망에서의 불확실성 추정을 가능하게 한다.
• 베이지안 추론을 통해 총 예측 분산을 데이터 노이즈(aleatoric)와 모델 불확실성(epistemic) 성분으로 분해한다.
• 분자 표현 학습을 위한 딥러닝 기반으로 확장된 그래프 컨volution 네트워크(GCNs)를 사용한다.
• SMILES로 인코딩된 구조와 성질 레이블을 사용하여 분자 그래프에서 베이지안 GCN을 학습하고, 각 예측에 대해 불확실성을 정량화한다.
• 불확실성 임계값을 사용하여 예측을 그룹화하고, 분류 작업에서 신뢰도-정확도 관계를 평가한다.

실험 결과

연구 질문

• RQ1 베이지안 GCNs는 분자 성질 예측에서 예측 불확실성을 데이터 기반 및 모델 기반 성분으로 효과적으로 분해할 수 있는가?
• RQ2 불확실성의 원인이 되는 데이터 노이즈(예: 정확도가 떨어지는 계산 방법에서 기인)는 분자 성질 예측에서 aleatoric 불확실성에 어떤 영향을 미치는가?
• RQ3 합성 분자 데이터셋에서 비정상적인 수준의 aleatoric 불확실성은 잘못된 또는 잘 근사되지 않은 데이터를 탐지하는 신호로 기능할 수 있는가?
• RQ4 생물활성성 및 독성 예측과 같은 이진 분류 작업에서 예측 불확실성은 신뢰도의 신뢰할 수 있는 대체 지표가 될 수 있는가?
• RQ5 낮은 불확실성과 높은 예측 정확도 사이의 상관관계는 분자 분류 모델에서 어느 정도로 관찰되는가?

주요 결과

• logP 예측에서 데이터 노이즈가 추가될수록 aleatoric 불확실성이 증가한 반면, epistemic 불확실성은 비교적 안정되어 있었으며, 이는 방법이 데이터 관련 불확실성을 효과적으로 분리할 수 있음을 확인한다.
• 하버드 클린 에너지 프로젝트 데이터셋에서 예측 PCE 값이 정확히 0인 분자들은 비정상적으로 높은 aleatoric 불확실성을 보였으며, 이는 M06-2X 함수의 낮은 정확도로 인한 잘못된 주석으로 확인되었다.
• 베이지안 GCN은 PCE 값이 0인 1,058개의 분자를 오류 가능성이 높은 것으로 성공적으로 식별하여, 불확실성이 데이터 품질 제어에 유용함을 입증하였다.
• 생물활성성 및 독성 분류 작업에서 총 불확실성이 낮은 분자는 유의미하게 높은 분류 정확도를 보였으며, 가장 낮은 불확실성 그룹(가장 높은 정확도)은 DUD-E 데이터셋에서 92.3%의 정확도를 기록하였다.
• 총 불확실성은 예측 확률이 0 또는 1에 가까워질수록 최소화되고, 0.5에 가까워질수록 최대화되어, 불확실성이 타당한 신뢰도 측정 지표로 기능함을 확인하였다.
• 분류 작업에서 aleatoric 불확실성이 epistemic 불확실성보다 더 크게 기여하여, 이러한 설정에서 데이터 노이즈가 불확실성의 주요 원인임을 시사한다.