[論文レビュー] Multi-task Neural Networks for QSAR Predictions

George E. Dahl, Navdeep Jaitly+1 more|arXiv (Cornell University)|Jun 4, 2014

Computational Drug Discovery Methods参考文献 23被引用数 150

ひとこと要約

本稿では、関連する生物学的アッセイ間で共有される表現を活用することで、予測精度を向上させるマルチタスク深層ニューラルネットワークを提案する。ドロップアウトやバッチ正則化といった高度な正則化技術を用い、ベースラインモデルを上回る性能を示し、複数のPubChemアッセイで最先端のAUCスコアを達成した。特に、深層アーキテクチャは一部のターゲットにおいて性能向上を示した。

ABSTRACT

Although artificial neural networks have occasionally been used for Quantitative Structure-Activity/Property Relationship (QSAR/QSPR) studies in the past, the literature has of late been dominated by other machine learning techniques such as random forests. However, a variety of new neural net techniques along with successful applications in other domains have renewed interest in network approaches. In this work, inspired by the winning team's use of neural networks in a recent QSAR competition, we used an artificial neural network to learn a function that predicts activities of compounds for multiple assays at the same time. We conducted experiments leveraging recent methods for dealing with overfitting in neural networks as well as other tricks from the neural networks literature. We compared our methods to alternative methods reported to perform well on these tasks and found that our neural net methods provided superior performance.

研究の動機と目的

• マルチタスク学習を用いて、複数の生物学的アッセイ間で共有される情報を活用することで、QSAR予測の精度を向上させること。
• ドロップアウト、バッチ正則化、重み減衰といった現代的なディープラーニング技術が、小規模で高次元のデータセットにおけるQSARモデリングにどのように効果を発揮するかを評価すること。
• 単一の隠れ層を超える深さのニューラルネットワークアーキテクチャ（複数の隠れ層）が、マルチタスクQSAR設定において性能向上をもたらすかどうかを調査すること。
• データ量とラベルの定式化（バイナリ分類対比回帰）が、最適なネットワークの深さと一般化性能に与える影響を検討すること。
• 分子記述子の選択が、マルチタスクニューラルネットワークの性能に与える影響を評価すること。

提案手法

• 複数のQSAR予測タスク（アッセイ）間で低層の重みを共有するマルチタスクフィードフォワードニューラルネットワークを採用し、パラメータの共有と一般化性能の向上を実現した。
• 化合物構造を固定長の数値ベクトルに変換するために、Dragonソフトウェアによって生成された分子記述子を用いた。
• 過学習を防ぐためにドロップアウト正則化を適用し、特に小規模なデータセットにおけるQSAR設定において重要であった。
• 深層ネットワークの訓練を安定化・高速化するためにバッチ正則化を活用した。
• 過学習を制御するための追加の正則化戦略として、L2重み減衰と早期停止を実装した。
• PubChemの活性クラウドを用いてバイナリ分類（活性／非活性）として予測タスクを定式化し、主評価指標としてAUCを用いた。

実験結果

リサーチクエスチョン

• RQ1 複数のアッセイ間で共有表現を活用することで、マルチタスク深層ニューラルネットワークはQSAR予測性能を向上させることができるか？
• RQ2 ドロップアウトやバッチ正則化といった現代的なディープラーニング正則化技術は、小規模データにおけるQSAR問題の一般化性能にどのように影響するか？
• RQ3 ネットワークの深さ（隠れ層の数）を増やすことで、マルチタスクQSARモデルの性能が向上するのか？
• RQ4 分子記述子の選択が、マルチタスクニューラルネットワークの予測性能に与える影響は何か？
• RQ5 なぜ深層ネットワークはアッセイごとに一貫した性能向上を示さないのか？その要因（例：データサイズ、ラベルの情報量）は何か？

主な発見

• マルチタスクニューラルネットワーク手法は、複数のPubChemアッセイにおいてベースラインモデルを上回る優れたAUC性能を達成し、共有表現学習の価値を示した。
• いくつかのアッセイでは、2～3層の隠れ層を持つ深層ネットワークが単層モデルを上回り、特に488918番（AUC 0.869 対 0.842）および488917番（AUC 0.917 対 0.894）で顕著な改善が見られた。
• 過去のコンペティションでの成功にもかかわらず、このデータセットでは深層アーキテクチャが一貫して性能を向上させなかった。これは、データサイズやラベル品質が最適な深さに影響を与える可能性を示唆している。
• 最も優れた性能を示したモデルは、ドロップアウト、バッチ正則化、L2正則化の組み合わせを採用しており、小規模データにおけるQSARタスクにおいて現代的正則化の重要性が浮き彫りになった。
• 性能はアッセイごとに顕著に変動し、一部のアッセイ（例：1851_1a2, 488917）ではAUC > 0.93を達成した一方、他のアッセイ（例：463213, 488915）では0.70未満にとどまった。これはタスク固有の課題を示している。
• 今後の改善は、より洗練された記述子セット（例：RDKitによるMorganフィンガープrint）の使用や、アッセイ間の構造的・機能的関係の統合によって得られる可能性があると示唆された。