[論文レビュー] A benchmark study on reliable molecular supervised learning via Bayesian learning

Doyeong Hwang, Grace Lee+3 more|arXiv (Cornell University)|Jun 12, 2020

Computational Drug Discovery Methods参考文献 28被引用数 4

ひとこと要約

この論文は、分子グラフニューラルネットワーク（GNN）における予測信頼性の向上を目的としたベイジアン学習手法のベンチマークを実施し、Stochastic Weight Averaging（SWA）やSWAGといった手法が、複数のGNNアーキテクチャおよび分子性質予測タスクにおいて、うまくキャリブレーションされ、不確実性を考慮した予測をもたらすことを示している。研究では、ベイジアン手法が過信の傾向を軽減し、信頼性の高い予測確率を提供することで、バーチャルスクリーニングの成績を向上させることを明らかにした。

ABSTRACT

Virtual screening aims to find desirable compounds from chemical library by using computational methods. For this purpose with machine learning, model outputs that can be interpreted as predictive probability will be beneficial, in that a high prediction score corresponds to high probability of correctness. In this work, we present a study on the prediction performance and reliability of graph neural networks trained with the recently proposed Bayesian learning algorithms. Our work shows that Bayesian learning algorithms allow well-calibrated predictions for various GNN architectures and classification tasks. Also, we show the implications of reliable predictions on virtual screening, where Bayesian learning may lead to higher success in finding hit compounds.

研究の動機と目的

• グラフニューラルネットワークにおけるベイジアンディープラーニングを用いた分子性質予測の信頼性を評価すること。
• 特にバーチャルスクリーニングにおける分布外（OOD）化合物において顕著な過信の傾向を示すニューラルネットワークの問題に対処すること。
• GNNベースの分類タスクにおいて、ベイジアン推論手法がキャリブレーションと不確実性推定をどのように改善するかを評価すること。
• 特にドラッグディスcoveryのような緊急な応用分野を想定した、信頼性のある分子機械学習の実用的ベンチマークを提供すること。
• 計算化学およびバーチャルスクリーニング分野における再現可能性と広範な採用を促進するため、コードを公開すること。

提案手法

• 予測信頼性の定量的評価には、期待キャリブレーション誤差（ECE）を用い、予測の信頼度と実際の正答率の乖離を測定した。
• ベイジアン学習は、MAP、ディープアンサンブル、MCドロップアウト、SGLD、SWA、SWAGといった近似推論手法を用いて、モデル重みの事後分布を推定した。
• バックボーンモデルとして、GIN、GAT、GatedGCNなどを利用し、入力特徴は分子グラフおよびノード/エッジ表現から得られた。
• ベイジアンマージナル化のため、複数の重みサンプリングに基づく予測の平均化により予測分布を計算し、予測確率の分散を用いて不確実性推定を実現した。
• ハイパーパramータは各手法ごとに最適化し、4つのMoleculeNetデータセット（BACE、BBBP、HIV、Tox21）をスケルトン分割（80:10:10）で学習した。
• SWAおよびSWAGは、周期的学習率スケジューリングを用い、150〜250エポックにわたる重み平均化を実施し、SWAGの事後共分散は1.0でスケーリングした。

実験結果

リサーチクエスチョン

• RQ1 異なるアーキテクチャおよびタスクにおいて、ベイジアン学習手法がGNNベースの分子性質予測器のキャリブレーションを改善できるか？
• RQ2 異なるベイジアン推論手法は、分子分類ベンチマークにおける予測信頼性および性能において、どのように比較されるか？
• RQ3 うまくキャリブレーションされた予測は、誤検出および誤検出を低減することで、どの程度バーチャルスクリーニングの成績を向上させるか？
• RQ4 不確実性推定は、真陽性、偽陽性、真陰性、偽陰性の各予測行動にどのような影響を与えるか？
• RQ5 SWAおよびSWAGは、分子性質予測において、高い精度と低いECEを両立させる点で、他のベイジアン手法と比較してどのように差を示すか？

主な発見

• SWAおよびその変種であるSWAGは、すべてのGNNアーキテクチャおよび分子性質予測タスクにおいて、期待キャリブレーション誤差（ECE）が最小となり、優れたキャリブレーションを示した。
• ベイジアン学習手法の適用により、過信の傾向が顕著に軽減され、特にOODおよび分布外サンプルにおいて、予測確率が実際の正答率とよく一致した。
• ヒストограмの分析から、真陽性は主に高い予測確率が割り当てられていたのに対し、偽陽性はしばしば低い信頼度で予測されていたことから、信頼性の高い不確実性評価が実現された。
• SWAおよびSWAGを用いたモデルは、BACEおよびBBBPでAUROC（>0.85）およびF1スコア（>0.75）を達成し、ECE値は0.05未満を維持した。これは、高い性能と信頼性の両立を示している。
• MCドロップアウトおよびディープアンサンブルもキャリブレーションを改善したが、特にクラス不均衡なタスクを有するTox21データセットでは、SWAおよびSWAGほど一貫性がなかった。
• https://github.com/AITRICS/mol_reliable_gnn に公開されたコードベースにより、再現可能なベンチマークが可能となり、COVID-19への対応を含むドラッグディスcovery分野における緊急応用を支援する。