[論文レビュー] Massively Multitask Networks for Drug Discovery

Bharath Ramsundar, Steven Kearnes+4 more|arXiv (Cornell University)|Feb 6, 2015

Machine Learning in Materials Science参考文献 11被引用数 401

ひとこと要約

本論文は、200種以上の生物学的標的にわたり4000万件の実験的測定値を活用して、バーチャルドラッグスクリーニングの精度を向上させる、大規模なマルチタスク深層ニューラルネットワーク（MTNN）を提案する。多様なタスク間で表現を共有することで、単一タスク手法よりも顕著に高い予測精度を達成し、データ量とタスク数が増えるにつれて性能が向上する。これは、ドラッグディスcoveryにおける強力なスケーラビリティと転移学習の可能性を示している。

ABSTRACT

Massively multitask neural architectures provide a learning framework for drug discovery that synthesizes information from many distinct biological sources. To train these architectures at scale, we gather large amounts of data from public sources to create a dataset of nearly 40 million measurements across more than 200 biological targets. We investigate several aspects of the multitask framework by performing a series of empirical studies and obtain some interesting results: (1) massively multitask networks obtain predictive accuracies significantly better than single-task methods, (2) the predictive power of multitask networks improves as additional tasks and data are added, (3) the total amount of data and the total number of tasks both contribute significantly to multitask improvement, and (4) multitask networks afford limited transferability to tasks not in the training set. Our results underscore the need for greater data sharing and further algorithmic innovation to accelerate the drug discovery process.

研究の動機と目的

• バーチャルスクリーニングにおける低当た率とデータ不足の課題に対処するため、多様な生物学的データソースを統合する。
• 大規模マルチタスク学習を用いて、ドラッグ活性予測における過学習とクラス不均衡の問題を克服する。
• マルチタスクディープラーニングが、複数のドラッグ標的に同時に予測性能を向上させられるかどうかを調査する。
• データ量、タスク数、タスクの多様性が、モデルの一般化性能と転移可能性に与える影響を調査する。

提案手法

• 259種の異なる生物学的標的にわたり、共有された隠れ層を持つ深層順方向ニューラルネットワークを訓練することで、パラメータ共有と情報伝達を実現する。
• 小分子を固定長のベクトル空間に表現するため、分子フィンガープrint（ECFP4）を入力特徴量として使用する。
• 各データセットにおける非活性化合物の高頻度を補正するため、クラス重み付き損失関数を適用する。
• 学習率スケジューリングとバッチ正則化を用いて、勾配降下法による学習を安定化させる。
• 表現を圧縮し、一般化性能を向上させるために、段階的に層の幅を小さくするピラミッド型アーキテクチャを実装する。
• 5分割交差検証を用いてモデルを評価し、全タスクの中央値AUCスコアを報告することで、妥当性を確保する。

実験結果

リサーチクエスチョン

• RQ1 大規模マルチタスクネットワークは、バーチャルスクリーニングにおいて、単一タスクモデルよりも顕著に優れた予測性能を達成できるか？
• RQ2 タスク総数とデータ総量が、マルチタスク学習性能にどのように同時に影響を与えるか？
• RQ3 マルチタスクネットワークが学習した特徴量は、未観測の新しいドラッグ-標的予測タスクにどの程度転送可能か？
• RQ4 生物学的標的クラスや共有活性化合物の存在が、マルチタスク性能向上に果たす役割は何か？
• RQ5 アーキテクチャ設計（例：ピラミッド型対比して標準型）が、モデルの性能と安定性に顕著な影響を与えるか？

主な発見

• 大規模マルチタスクネットワークは、単一タスクモデルよりも顕著に高い中央値AUC（PCBAでは0.846）を達成し、対応t検定でp値 ≤ 1.86 × 10⁻¹⁵を示した。
• データ量とタスク数が増えるにつれて性能が単調に向上し、4000万件の測定データセット内で飽和傾向は観察されなかった。
• アブレーションスタディにより、タスク総数とデータ総量の両方が性能向上に顕著に寄与することが示された。
• モデルは未観測タスクへの有限だが測定可能な転送性を示し、ゼロショット予測設定でも一般化が観察された。
• タスク間で共有される活性化合物の存在は、マルチタスク性能向上とやや相関が強く、一方で標的の生物学的クラスは有意な相関を示さなかった。
• 学習率スケジューリング（最初の200万ステップで0.0001、その後0.0003）を施したピラミッド型アーキテクチャは、高い学習率と比較して、訓練失敗を低減し、安定性を向上させた。