[論文レビュー] SparseChem: Fast and accurate machine learning model for small molecules

Ádám Arany, Jaak Simm+2 more|arXiv (Cornell University)|Mar 9, 2022

Computational Drug Discovery Methods被引用数 6

ひとこと要約

SparseChem は、ECFP フィンガープrint やその他の高次元スパース分子データを対象とした高速でスケーラブルな機械学習フレームワークであり、分類、回帰、右側打ち切り回帰における効率的なマルチタスク学習を可能にする。V100 GPU で 420,000 化合物を 3,500 タスクにわたって学習するのにわずか 2 分で完了し、AUC-ROC 0.794、R² 0.358 という最先端の性能を示しているベンチマークデータセット上での成果を達成している。

ABSTRACT

SparseChem provides fast and accurate machine learning models for biochemical applications. Especially, the package supports very high-dimensional sparse inputs, e.g., millions of features and millions of compounds. It is possible to train classification, regression and censored regression models, or combination of them from command line. Additionally, the library can be accessed directly from Python. Source code and documentation is freely available under MIT License on GitHub.

研究の動機と目的

• ドラッグディスカバリにおいて一般的な高次元でスパースな分子データに対する正確な機械学習モデルの学習という課題に対処すること。
• 効率的なスパースニューラルネットワークを用いて、数百万の特徴量と数千のタスクを扱うスケーラブルなマルチタスク学習を可能にすること。
• 分類、回帰、および打ち切り回帰を統合した一つの統一フレームワーク内で、多様な学習設定をサポートすること。
• 実世界のドラッグディスカバリープロセスに適した、CPU および GPU ハードウェアにおける高速な学習と推論を提供すること。
• 幅広い採用を促進するため、コマンドラインインターフェースおよび Python API を通じた拡張可能で使いやすいアクセスを提供すること。

提案手法

• SparseChem は、ECFP フィンガープrint やその他のミリオン次元のスパース特徴ベクトルを効率的に処理できるスパースニューラルネットワーク層を入力層として採用している。
• 観測済みの出力要素にのみ勾配を計算するスパーストレーニング損失関数を採用しており、数万のタスクにわたる効率的な学習を可能としている。
• 内部的なミニバッチ処理により、GPU メモリに収まらないより大きな有効バッチサイズを実現し、学習効率を向上させている。
• 分類と（打ち切り）回帰タスクを一度のネットワーク内で組み合わせたハイブリッドモデルをサポートしており、汎化性能と学習速度の両方を向上させている。
• タスク固有の損失関数を実装している：分類にはバイナリクロスエントロピー、回帰には平均二乗誤差、上側または下側打ち切り回帰には片側平方損失を使用している。
• 各タスクごとの重み付けを可能としており、標準的な指標（AUC-ROC、AUC-PR、R²、RMSE）を各タスクごとに計算し、包括的な評価を可能としている。

実験結果

リサーチクエスチョン

• RQ1 機械学習フレームワークは、ミリオン次元のスパース分子フィンガープリントを効率的に処理しつつ、高い予測精度を維持できるか？
• RQ2 スパースニューラルネットワークを用いたマルチタスク学習は、ドラッグディスカバリにおける QSAR モデリングの性能をどのように向上させるか？
• RQ3 打ち切り回帰損失関数は、上界または下界がある生体活性データを効果的にモデル化できるか？
• RQ4 420,000 化合物と 3,500 タスクを含む産業規模のデータセットにおいて、ディープラーニングフレームワークの学習速度とスケーラビリティはどの程度か？
• RQ5 分類と回帰タスクをハイブリッドでモデル化することで、単一タスク学習と比較してモデル性能がどの程度向上するか？

主な発見

• SparseChem は、1 枚の NVIDIA V100 GPU で 420,000 化合物を 3,500 タスクにわたって学習するのにわずか 2 分で完了し、驚異的な学習速度を示した。
• CheMBL 29 データセットにおいて、分類モデルは AUC-ROC 0.794、AUC-PR 0.717 を達成し、1 分間に 12 エポックの学習が可能だった。
• 回帰モデルは R² 0.358、ピアソン相関係数 0.620 を達成し、同じハードウェアで 1 分間に 15 エポックの学習が可能だった。
• 打ち切り回帰モデルは R² 0.356、相関係数 0.621 を達成し、標準回帰モデルと比較して性能にほとんど差がなかった。
• フレームワークは最大 30,000 タスクをサポートし、各タスクの重み付けを可能としており、補助的または優先度の高いタスクの微調整が可能である。
• システムは CPU および GPU 両方で完全な学習と推論を実行でき、コマンドラインインターフェースおよび Python API を通じた柔軟な統合を可能としている。