[論文レビュー] Modeling Industrial ADMET Data with Multitask Networks

Steven Kearnes, Brian Goldman+1 more|arXiv (Cornell University)|Jun 28, 2016

Computational Drug Discovery Methods参考文献 1被引用数 43

ひとこと要約

本研究では、Vertex Pharmaceuticalsの22の特許データセットを用いて、産業的ADMET特性予測のためのマルチタスクニューラルネットワーク（MTNN）の評価を行った。MTNNは単一タスクモデルに対してわずかに性能向上を示したが、特に小さなデータセットではより顕著な恩恵を受けており、マルチタスク効果はデータセットに強く依存することを明らかにした。これにより、一般的なデータ拡張戦略よりも、データセットに特化したモデル設計の重要性が強調された。

ABSTRACT

Deep learning methods such as multitask neural networks have recently been applied to ligand-based virtual screening and other drug discovery applications. Using a set of industrial ADMET datasets, we compare neural networks to standard baseline models and analyze multitask learning effects with both random cross-validation and a more relevant temporal validation scheme. We confirm that multitask learning can provide modest benefits over single-task models and show that smaller datasets tend to benefit more than larger datasets from multitask learning. Additionally, we find that adding massive amounts of side information is not guaranteed to improve performance relative to simpler multitask learning. Our results emphasize that multitask effects are highly dataset-dependent, suggesting the use of dataset-specific models to maximize overall performance.

研究の動機と目的

• 産業的ADMETデータ予測において、マルチタスクニューラルネットワーク（MTNN）を単一タスクモデルおよび従来のベースライン（例：ランダムフォレスト、ロジスティック回帰）と比較すること。
• 産業的ドラッグディスcoveryにおけるモデル性能推定において、時系列バリデーションとランダムクロスバリデーションの影響を評価すること。
• マルチタスク学習効果に影響を与える要因（データセットサイズ、タスクの関連性、サイド情報の有無など）を調査すること。
• 大量のサイド情報を追加しても、マルチタスクモデルの性能が一貫して向上するかどうかを評価すること。
• マルチタスクモデルにおける情報漏洩のリスクと、異なるバリデーションスキーム下での性能向上のロバスト性を検討すること。

提案手法

• 1024ビットのバイナリ分子フォルスプリントを入力特徴量として用い、単一タスク（STNN）およびマルチタスク（MTNN）の順伝播ニューラルネットワークを訓練した。
• ADMETデータセットにおけるクラス不均衡に対処するため、活性／非活性クラスのバランスを学習中に維持するためのクラスウェイトを適用した。
• ランダムクロスバリデーションと時系列バリデーション（実験日付に基づく）の2つのバリデーションスキームを用い、予測的性能の前向き推定を評価した。
• MTNNの3つのバリエーションを評価：重みなしMTNN（U-MTNN）、重み付きMTNN（W-MTNN）、共有隠れ層を持つマルチヘッドアーキテクチャ（W-MTNN）。
• AUCを主な指標として用い、対応したAUC差の符号検定により統計的有意性を評価した。
• モデル性能に与えるアーキテクチャの深さの影響（例：(1000)、(4000)、(2000,1000)、(4000,2000,1000,1000)）を、複数のデータセットにわたって調査した。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習は、多様な産業的ADMETデータセットにおいて、単一タスクモデルよりも一貫した性能向上をもたらすか？
• RQ2 時系列バリデーションとランダムクロスバリデーションは、ADMETモデルの予測的性能の前向き推定において、どのように比較されるか？
• RQ3 小さなデータセットは、大きなデータセットと比較して、マルチタスク学習からどれほど大きな恩恵を受けるか？
• RQ4 膨大な量のサイド情報を追加しても、マルチタスクモデルの性能が顕著に向上するのか、それとも単純なマルチタスク学習で十分なのか？
• RQ5 データセットサイズ、タスクの関連性、またはクラス不均衡に基づいて、マルチタスク学習効果は予測可能か？

主な発見

• マルチタスクニューラルネットワークは、単一タスクモデルに対してわずかだが統計的に有意な性能向上を示し、データセット全体で中央値AUC上昇幅は0.010～0.017であった。
• 小さなデータセット（例：5,229点のデータセットG）は、大きなデータセット（例：67,839点のデータセットC）と比較して、マルチタスク学習による相対的利点が顕著に大きかった。
• 時系列バリデーションはランダムクロスバリデーションよりも現実的性能推定を提供しており、時系列分割で学習したモデルはAUCが低く、過学習が抑制されていることを示した。
• 大量のサイド情報を追加しても性能向上が保証されるわけではない。単純な共有表現を用いたマルチタスク学習が、複雑なサイド情報統合モデルを上回るか、同等の性能を示した。
• 符号検定の結果、W-MTNNはU-MTNNを一貫して上回り、15回の比較のうち8回で95％信頼区間が0.5を含まないことが判明し、統計的有意性が裏付けられた。
• モデルアーキテクチャは顕著な影響を及ぼした：深いアーキテクチャ（例：(4000,2000,1000,1000)）は、浅いアーキテクチャよりも単一タスクモデルに比べて高いAUC上昇を示したが、すべてのケースで統計的有意性があるとは限らなかった。