[論文レビュー] Evaluating Scalable Uncertainty Estimation Methods for DNN-Based Molecular Property Prediction

Gabriele Scalia, Colin A. Grambow+3 more|arXiv (Cornell University)|Oct 7, 2019

Machine Learning in Materials Science参考文献 51被引用数 6

ひとこと要約

本稿は、QM9データセットにおける分子性質予測のためのグラフ畳み込みニューラルネットワーク（GCNN）において、スケーラブルな不確実性推定手法—MC-Dropout、ディープアンサンブル、ブートストラップ—を評価する。一貫したフレームワークを提案し、アレアトリック不確実性とエピステミック不確実性を分離する。アンサンブルとブートストラップが、特にドメインシフト下で、キャリブレーションとロバストネスにおいてMC-Dropoutを一貫して上回ることを発見した。

ABSTRACT

Advances in deep neural network (DNN) based molecular property prediction have recently led to the development of models of remarkable accuracy and generalization ability, with graph convolution neural networks (GCNNs) reporting state-of-the-art performance for this task. However, some challenges remain and one of the most important that needs to be fully addressed concerns uncertainty quantification. DNN performance is affected by the volume and the quality of the training samples. Therefore, establishing when and to what extent a prediction can be considered reliable is just as important as outputting accurate predictions, especially when out-of-domain molecules are targeted. Recently, several methods to account for uncertainty in DNNs have been proposed, most of which are based on approximate Bayesian inference. Among these, only a few scale to the large datasets required in applications. Evaluating and comparing these methods has recently attracted great interest, but results are generally fragmented and absent for molecular property prediction. In this paper, we aim to quantitatively compare scalable techniques for uncertainty estimation in GCNNs. We introduce a set of quantitative criteria to capture different uncertainty aspects, and then use these criteria to compare MC-Dropout, deep ensembles, and bootstrapping, both theoretically in a unified framework that separates aleatoric/epistemic uncertainty and experimentally on the QM9 dataset. Our experiments quantify the performance of the different uncertainty estimation methods and their impact on uncertainty-related error reduction. Our findings indicate that ensembling and bootstrapping consistently outperform MC-Dropout, with different context-specific pros and cons. Our analysis also leads to a better understanding of the role of aleatoric/epistemic uncertainty and highlights the challenge posed by out-of-domain uncertainty.

研究の動機と目的

• 深層学習におけるスケーラブルな不確実性推定技術を、GCNNを用いた分子性質予測の文脈で評価すること。
• 薬剤発見において一般的なドメイン外分子が存在する状況において、DNNにおける不確実性の定量化という重要な課題に取り組むこと。
• 一貫したフレームワークを用いて、アレアトリック不確実性とエピステミック不確実性を区別する形で、MC-Dropout、ディープアンサンブル、ブートストラップを比較すること。
• 順位付けの信頼性、キャリブレーション（2つの定義）、分散、ドメインシフトに対するロバストネスという複数の基準に基づき、手法の性能を評価すること。
• データバイアスや分布シフトが一般的な化学情報学の文脈において、不確実性手法の包括的かつ定量的な比較を提供すること。

提案手法

• DNNにおけるアレアトリック（データ駆動）不確実性とエピステミック（モデル駆動）不確実性を分離するための一貫した理論的フレームワークを提案する。
• GCNNにおける効率的な近似ベイジアン推論のため、Concrete Dropoutを用いたMC-Dropoutを採用する。
• ディープアンサンブルとデータブートストラップを、近似ベイジアン推論のスケーラブルな代替手法として適用する。
• ドメインシフトに対するロバストネスを評価するために、スケルトンベースの訓練/検証/テスト分割を用いたQM9データセットを用いる。
• 2つのキャリブレーション定義を用いる：誤差ベース（不確実性でビニング）と信頼度ベース（予測された不確実性でビニング）、統計的評価を併用する。
• 不確実性の順位付け、分散（推定された非一様性）、ドメイン外一般化の評価に用いる指標を導入する。

実験結果

リサーチクエスチョン

• RQ1 MC-Dropout、ディープアンサンブル、ブートストラップは、異なる定義に基づく不確実性キャリブレーションにおいて、どのように比較されるか？
• RQ2 どの手法が信頼度に基づいて予測を適切に順位付けし、信頼性のある予測を特定するか？
• RQ3 各手法は、エピステミック不確実性とアレアトリック不確実性の成分を別々にどの程度適切に推定できるか？
• RQ4 不確実性推定の影響は、特にドメインシフト下で誤差低減にどのように寄与するか？
• RQ5 特にスケルトンベースのデータ分割を用いた場合、ドメイン外分子に対する各手法のロバストネスはどのように比較されるか？

主な発見

• アンサンブルとブートストラップは、キャリブレーションにおいて一貫してMC-Dropoutを上回り、特にエピステミック不確実性のキャリブレーションと全体的なドメイン外キャリブレーションで優れた性能を示した。
• MC-Dropoutは、非一様な不確実性推定とデータのスパarsityの影響により、高不確実性ビンにおいてキャリブレーションが不安定であることが判明した。
• 不確実性分布が歪んでいることが一般的な分子データセットでは、誤差ベースのキャリブレーションに比べ、信頼度ベースのキャリブレーションがよりノイズの少ない結果をもたらした。
• 本研究では、エピステミック不確実性が総誤差に顕著に寄与しており、化学的空間における信頼性の高い予測のためには、その適切な定量化が不可欠であることが明らかになった。
• すべての手法がドメイン内では優れた性能を示したが、ドメイン外の不確実性キャリブレーションにおいては依然として困難を抱えており、実世界応用における主要な限界を示している。
• アンサンブルは全体的なMAEと順位付け性能で優れており、ブートストラップは分布シフト下でのモデル不確実性の捉え込みに優位性を示した。