[論文レビュー] ImDrug: A Benchmark for Deep Imbalanced Learning in AI-aided Drug Discovery

Lanqing Li, Liang Zeng+12 more|arXiv (Cornell University)|Sep 16, 2022

Imbalanced Data Classification Techniques被引用数 7

ひとこと要約

ImDrugは、AI支援ドラッグディスcoveryにおけるディープインバランス学習の包括的ベンチマークを提供し、11のAI対応データセット、54の学習タスク、4つのインバランス設定における16のベースラインアルゴリズムを含む。インバランスデータでは標準的な指標（例：正解率）が楽観的になりがちであり、バランス正解率とF1スコアがより信頼できる代替指標であると示唆している。また、現実の分布シフト下での既存モデルの顕著な性能差が明らかになった。

ABSTRACT

The last decade has witnessed a prosperous development of computational methods and dataset curation for AI-aided drug discovery (AIDD). However, real-world pharmaceutical datasets often exhibit highly imbalanced distribution, which is overlooked by the current literature but may severely compromise the fairness and generalization of machine learning applications. Motivated by this observation, we introduce ImDrug, a comprehensive benchmark with an open-source Python library which consists of 4 imbalance settings, 11 AI-ready datasets, 54 learning tasks and 16 baseline algorithms tailored for imbalanced learning. It provides an accessible and customizable testbed for problems and solutions spanning a broad spectrum of the drug discovery pipeline such as molecular modeling, drug-target interaction and retrosynthesis. We conduct extensive empirical studies with novel evaluation metrics, to demonstrate that the existing algorithms fall short of solving medicinal and pharmaceutical challenges in the data imbalance scenario. We believe that ImDrug opens up avenues for future research and development, on real-world challenges at the intersection of AIDD and deep imbalanced learning.

研究の動機と目的

• AI支援ドラッグディスcovery（AIDD）で使用される現実の製薬データセットにおけるデータインバランス問題が広く認識されていないが、その影響を是正すること。
• 多様なAIDDタスクにわたるディープインバランス学習アルゴリズムの評価を可能にする、標準的でアクセス可能かつカスタマイズ可能なベンチマークを提供すること。
• インバランス分布下における従来の指標（例：正解率、AUROC）の限界を評価し、より頑健な代替指標を提案すること。
• 現実のドラッグディスcovery課題に即した分布外（OOD）およびロングテールデータ分割における既存モデルの性能低下を調査すること。
• 実際のAIDDシナリオにおける現在のアルゴリズムの欠陥を露呈させ、インバランス学習分野におけるイノベーションを促進すること。

提案手法

• ImDrugは、分子モデリング、ドラッグ・ターゲット相互作用、レトロ合成をカバーする11のAI対応データセットを用いたベンチマークを構築し、それぞれが複数の学習タスクを有する。
• 4つのインバランス設定を実装：標準的なインバランス分類、オープンロングテール分類、インバランス回帰、ロングテール認識。
• ベンチマークには、クラス再バランス、データオーグメンテーション、モジュール改善の3カテゴリに分類される16のベースラインアルゴリズムが含まれる。
• 5つの新規データ分割関数（スケルトン、時系列、その他の関数）を導入し、現実的な分布外（OOD）シナリオを再現可能にし、より頑健な評価を可能にした。
• バランス正解率とバランスF1スコアという新規指標を提案・評価し、これらがバランステストセットにおけるゴールスタンダード指標（AUROC）と強く相関していることを示した。
• 実証的評価ではピアソン相関分析を用い、インバランステストセットにおける提案指標の信頼性を標準指標と比較して検証した。

実験結果

リサーチクエスチョン

• RQ1 ImDrugは、データインバランスと分布シフトを伴うAI支援ドラッグディスcoveryの現実的課題に対して、意味のある代替指標として機能できるか？
• RQ2 AIDD分野における極度にインバランスなテストセットにおいて、従来の評価指標（例：正解率、AUROC）は依然として信頼性があり、感度が高いと評価できるか？
• RQ3 AIDDデータセットにおける現実的なOOD分割（例：スケルトン分割、時系列分割）下で、既存のディープラーニングベースラインはどのように性能を示すか？
• RQ4 提案されたバランス指標（バランス正解率とF1スコア）は、バランステストセットにおけるゴールスタンダード指標（AUROC）とどの程度一致するか？
• RQ5 標準的分割とOOD分割との間には、どのような性能ギャップが存在し、これらは現在のAIDD分野におけるインバランス学習アプローチの根本的限界を露呈するか？

主な発見

• OOD分割（特にスケルトン分割と時系列分割）は、バランス正解率で平均1.22%の低下とMAEで2.03%の上昇を引き起こし、現実の分布シフト下での顕著な性能劣化を示している。
• 正解率はバランステストセットにおけるAUROCと弱い相関（ピアソンのr = 0.2092）を示しており、インバランスデータでは楽観的で信頼性に欠けることが判明した。
• インバランステストセットにおけるバランス正解率と提案されたバランスF1スコアの間には、ほぼ完全な一致（ピアソンのr = 0.9999）が確認され、両者の信頼性が裏付けられた。
• バランス標準分割におけるAUROCとインバランスランダム分割におけるバランス正解率の間には中程度の相関（r = 0.4364）が認められ、AUROCがより安定したゴールスタンダード指標であることが示唆された。
• ベンチマークは、既存のアルゴリズムが現実のインバランスおよびOODシナリオを適切に処理できていないことを明らかにした。これは、AIDD分野におけるより優れた手法開発の緊急の必要性を示している。
• ImDrugのオープンソースプラットフォームと多様な分割関数により、ドラッグディスカバリにおけるインバランス学習モデルのより現実的かつ統計的に信頼性の高い評価が可能になった。