[論文レビュー] A comprehensive study on the prediction reliability of graph neural networks for virtual screening

Soojung Yang, Kyung Hoon Lee+1 more|arXiv (Cornell University)|Mar 17, 2020

Machine Learning in Materials Science被引用数 5

ひとこと要約

本論文は、仮想スクリーニングにおけるグラフニューラルネットワーク（GNN）の予測信頼性について包括的な分析を提供し、出力の確率的解釈に重点を置いている。データ不足とクラス不均衡の下で、モデルアーキテクチャ、正則化、損失関数の影響を評価した結果、適切な正則化と調整されたα重み付きのフォーカル損失が、特に不均衡な設定において信頼性とスクリーニング成功確率を顕著に向上させることを明らかにした。

ABSTRACT

Prediction models based on deep neural networks are increasingly gaining attention for fast and accurate virtual screening systems. For decision makings in virtual screening, researchers find it useful to interpret an output of classification system as probability, since such interpretation allows them to filter out more desirable compounds. However, probabilistic interpretation cannot be correct for models that hold over-parameterization problems or inappropriate regularizations, leading to unreliable prediction and decision making. In this regard, we concern the reliability of neural prediction models on molecular properties, especially when models are trained with sparse data points and imbalanced distributions. This work aims to propose guidelines for training reliable models, we thus provide methodological details and ablation studies on the following train principles. We investigate the effects of model architectures, regularization methods, and loss functions on the prediction performance and reliability of classification results. Moreover, we evaluate prediction reliability of models on virtual screening scenario. Our result highlights that correct choice of regularization and inference methods is evidently important to achieve high success rate, especially in data imbalanced situation. All experiments were performed under a single unified model implementation to alleviate external randomness in model training and to enable precise comparison of results.

研究の動機と目的

• データ不足とクラス不均衡の下で、深層学習モデルの過信と不良なキャリブレーションによる仮想スクリーニングにおける信頼性の欠如を是正すること。
• モデルアーキテクチャ、正則化、損失関数の影響が分子性質分類における予測信頼性に与える影響を評価すること。
• 化合物選別に向けた信頼できる確率推定を生成するGNNのトレーニングに役立つ実用的ガイドラインを提供すること。
• 精度だけでなく、現実の仮想スクリーニングシナリオにおけるキャリブレーションと信頼性のある信頼度の観点からモデル性能を評価すること。
• 高精度または高再現率を求める仮想スクリーニング用途に最適なトレーニング戦略——特に正則化と損失関数の選択——を提案すること。

提案手法

• 本研究では、すべての実験において統一されたGNN実装を用いることで、トレーニングのランダム性を最小限に抑え、公平な比較を実現した。
• GCN、GIN、GraphSAGEといった複数のGNNアーキテクチャを、同一のトレーニングおよび評価プロトコルの下で評価した。
• 重み減衰、ドロップアウト、モンテカルロドロップアウト（MC-DO）といった正則化技術がモデルキャリブレーションに与える影響を体系的に分析した。
• バイナリクロスエントロピー、フォーカル損失（可変αおよびγを有する）、重み付きクロスエントロピーといった損失関数を性能と信頼性の観点から比較した。
• 予測信頼性は、キャリブレーション曲線、期待キャリブレーション誤差（ECE）、エントロピー度数ヒストグラムを用いて定量化され、信頼度と正確性の整合性を評価した。
• 評価は、現実の仮想スクリーニング状況を模倣する不均衡データセットを用いた分子性質分類タスクで実施された。

実験結果

リサーチクエスチョン

• RQ1 異なるGNNアーキテクチャは、分子性質分類における確率的予測の信頼性にどのように影響を与えるか？
• RQ2 特に重み減衰とMC-DOを含む正則化は、データ不足とクラス不均衡の下で、モデルキャリブレーションをどの程度向上させるか？
• RQ3 特に異なるαおよびγ値を有するフォーカル損失は、予測信頼性とスクリーニングパフォーマンスにどのように影響を与えるか？
• RQ4 データが希薄で不均衡な状況下でも、GNNの確率的出力は仮想スクリーニングに信頼できるか？
• RQ5 どのトレーニングおよび推論戦略が、信頼できる信頼度推定を維持したまま、仮想スクリーニングの成功確率を最大にするか？

主な発見

• 特にモンテカルロドロップアウト（MC-DO）を用いた適切な正則化は、モデルキャリブレーションを顕著に向上させ、予測の過信を低減することが分かった。
• α ≠ 0.5およびγ > 0.0のフォーカル損失は、不均衡データ設定において標準的なクロスエントロピーを上回り、信頼性とスクリーニング成功確率の両方を向上させた。
• α ≠ 0.5の重み付きクロスエントロピーは、クラス不均衡の処理に非常に効果的であり、精度と再現率のバランスに優れたトレードオフを提供した。
• フォーカル損失における高いγ値は、損失関数の本質的なコスト感受性に起因し、少数クラスに過剰適合を引き起こすため、予測信頼性を低下させる。
• 適切な正則化と損失関数を用いてトレーニングされたモデルは、期待キャリブレーション誤差（ECE）の低下が顕著に見られ、信頼度と正確性の整合性が向上した。
• 本研究では、信頼度ペナルティの回避を推奨し、代わりに損失関数における調整されたα重み付けを用いることで、特定の仮想スクリーニング目的（高精度または高再現率）に最適なモデルを構築できると結論づけた。