[論文レビュー] Activity Cliff Prediction: Dataset and Benchmark

Ziqiao Zhang, Bangyi Zhao+3 more|arXiv (Cornell University)|Feb 15, 2023

Computational Drug Discovery Methods被引用数 6

ひとこと要約

本稿は、190の標的をカバーする40万を超えるマッチド分子ペア（MMPs）を含む、活動崖（AC）予測のための最初の大規模ベンチマークデータセットACNetを紹介する。このうち2万組がMMP-cliffとしてラベル付けされている。16種類のディープラーニングモデルを評価するベースラインフレームワークを提案し、データが乏しく、分布外（OOD）の設定下でも、従来のECFPフィンガープrintが大多数のディープニューラルネットワークを上回ることを発見した。これは、ディープラーニングモデルがAC予測に対して依然として大きな挑戦に直面していることを示している。

ABSTRACT

Activity cliffs (ACs), which are generally defined as pairs of structurally similar molecules that are active against the same bio-target but significantly different in the binding potency, are of great importance to drug discovery. Up to date, the AC prediction problem, i.e., to predict whether a pair of molecules exhibit the AC relationship, has not yet been fully explored. In this paper, we first introduce ACNet, a large-scale dataset for AC prediction. ACNet curates over 400K Matched Molecular Pairs (MMPs) against 190 targets, including over 20K MMP-cliffs and 380K non-AC MMPs, and provides five subsets for model development and evaluation. Then, we propose a baseline framework to benchmark the predictive performance of molecular representations encoded by deep neural networks for AC prediction, and 16 models are evaluated in experiments. Our experimental results show that deep learning models can achieve good performance when the models are trained on tasks with adequate amount of data, while the imbalanced, low-data and out-of-distribution features of the ACNet dataset still make it challenging for deep neural networks to cope with. In addition, the traditional ECFP method shows a natural advantage on MMP-cliff prediction, and outperforms other deep learning models on most of the data subsets. To the best of our knowledge, our work constructs the first large-scale dataset for AC prediction, which may stimulate the study of AC prediction models and prompt further breakthroughs in AI-aided drug discovery. The codes and dataset can be accessed by https://drugai.github.io/ACNet/.

研究の動機と目的

• ドラッグディスcoveryにおける活動崖（AC）予測のための標準化されたベンチマークデータセットの欠如に応えること。
• データの不均衡、低データ環境、分布外一般化の課題を強調する、多様で大規模なデータセットを用いて、ディープラーニングモデルのAC予測性能を評価すること。
• 分子性質予測の分野で成功を収めたにもかかわらず、微細な活動崖現象を捉える能力に欠けるディープニューラルネットワークの限界を調査すること。
• 再現可能なベンチマークとオープンソースリソースを提供することで、AI支援ドラッグディスcovery分野における今後の研究の基盤を構築すること。

提案手法

• ChEMBLからACNetをキュレートし、190の標的にまたがる40万を超えるマッチド分子ペア（MMPs）を抽出。うち2万組はMMP-cliffとしてラベル付けされ、38万組は非ACとして分類された。
• 5つの異なるデータサブセット（Large、Medium、Small、Few、Mix）を設計。それぞれが、データの不均衡、低データ環境、分布外一般化の課題に焦点を当てている。
• 16種類のモデル（例：GCN、GIN、Graphormer、ECFPなど）が生成する分子表現を統一されたベースラインフレームワークに統合し、二値分類タスク（AC関係）のための下流MLPに供給した。
• すべてのサブセットで標準的な評価指標（AUC、正答率）を適用。特に、分布外一般化を評価するためのターゲットスプリット評価を実施した。
• Fewサブセットにおいて、事前学習・微調整のパラダイムを採用。事前学習済みの分子表現モデルは固定し、分類器ヘッドのみを微調整した。
• 学習された表現と手作業で設計された表現の有効性を比較するため、ディープグラフニューラルネットワークと従来のフィンガープrintベースの手法（ECFP）の性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 構造的変化が最小限の分子ペアにおいて、大きな感受性差を示す活動崖関係を、ディープラーニングモデルが効果的に予測できるか？
• RQ2 データ量の異なる環境下で、さまざまな分子表現学習手法（例：GNN、ECFP）のAC予測性能はどのように比較されるか？
• RQ3 トレーニング時に見られなかったターゲット（分布外：OOD）に対して、ディープラーニングモデルはどの程度一般化できるか、特にターゲットスプリット評価下で。
• RQ4 なぜECFPは、低データおよびOOD設定下で、最先端のディープラーニングモデルを上回るのか？
• RQ5 分子性質予測タスクで成功を収めたにもかかわらず、ディープニューラルネットワークの性能を阻害するAC予測の主な課題は何か？

主な発見

• ECFPにシンプルなMLPを組み合わせたモデルが、Largeサブセットで最高のAUC 0.984を達成し、Graphormer や GINを含むすべてのディープラーニングモデルを上回った。
• Fewサブセットでは、ECFPがAUC 0.813を達成し、全8種類の事前学習モデルの中で2番目に高いスコアを記録。一方、多くのGNNベースのモデルはECFPを下回り、低データ環境下でのECFPの頑健性を示した。
• ターゲットスプリット評価下でMixサブセットにおいて顕著な性能低下が見られた。ECFP+MLPは、ランダムスプリット時のAUC 0.960から、ターゲットスプリット時のAUC 0.522に低下し、分布外一般化能力の欠如を示した。
• GCNはMixサブセットでOOD性能が最も優れており、AUC 0.579を記録したが、依然としてターゲット間での汎用的パターンの捉えにくさを示している。
• GINおよびGraphormerモデルは、小規模およびフェイシュット学習サブセットで劣った性能を示し、AUCが0.63未満にとどまった。これは、データが疎な状況下での学習の限界を示している。
• 結果から、データの不均衡、低データ環境、分布シフトの影響が強く、洗練された分子表現学習がなされても、AC予測は依然としてディープラーニングにとって大きな課題であることが明らかになった。