[論文レビュー] GeneDisco: A Benchmark for Experimental Design in Drug Discovery

Arash Mehrjou, Ashkan Soleymani+5 more|arXiv (Cornell University)|Oct 22, 2021

CRISPR and Genetic Engineering参考文献 94被引用数 8

ひとこと要約

GeneDiscoは、CRISPRベースの実験データセットを活用し、最先端の獲得関数のオープンソース実装を備えた、ドラッグディスcoveryにおけるバッチアクティブラーニングの標準化ベンチマークを導入する。これにより、多様な生物学的状況においてアクティブラーニング手法を体系的に評価でき、モデルのパフォーマンスとヒット発見効率の間のトレードオフが明らかになった。

ABSTRACT

In vitro cellular experimentation with genetic interventions, using for example CRISPR technologies, is an essential step in early-stage drug discovery and target validation that serves to assess initial hypotheses about causal associations between biological mechanisms and disease pathologies. With billions of potential hypotheses to test, the experimental design space for in vitro genetic experiments is extremely vast, and the available experimental capacity - even at the largest research institutions in the world - pales in relation to the size of this biological hypothesis space. Machine learning methods, such as active and reinforcement learning, could aid in optimally exploring the vast biological space by integrating prior knowledge from various information sources as well as extrapolating to yet unexplored areas of the experimental design space based on available data. However, there exist no standardised benchmarks and data sets for this challenging task and little research has been conducted in this area to date. Here, we introduce GeneDisco, a benchmark suite for evaluating active learning algorithms for experimental design in drug discovery. GeneDisco contains a curated set of multiple publicly available experimental data sets as well as open-source implementations of state-of-the-art active learning policies for experimental design and exploration.

研究の動機と目的

• 生物学的実験設計におけるアクティブラーニングを評価するための標準化されたベンチマークの欠如に応える。
• 機械学習駆動のドラッグディスカバリーにおける研究を加速するための再現可能でオープンソースのプラットフォームを提供する。
• 複数の現実世界の遺伝子干渉データセットにおいて、最先端の獲得関数を評価する。
• パフォーマンスのベースラインを確立し、因果関係のある生物学的知見を得るための実験探索最適化における主な課題を特定する。
• in vitro遺伝子実験の高次元的・スパース・ノイズ多様な性質に特化した、将来のアクティブラーニング手法の開発を支援する。

提案手法

• CRISPR干渉と表現型読み出しを用いたin vitro遺伝子実験から、4つの公開利用可能なデータセットをキュレートした。
• 最先端のバッチアクティブラーニング獲得関数（不確実性サンプリング、多様性ベース、不確実性と不確実性のトレードオフ手法など）を実装し、オープンソース化した。
• 反事後推定器を用いて、未テストの遺伝子干渉の結果を予測し、実験選択を支援した。
• モデルの精度や高影響度の生物学的ヒットの発見数といった複数のパフォーマンス指標を用いて、手法を評価した。
• 20,000時間以上のCPUを活用した大規模な実験により、さまざまなハイパーパrameter設定とデータセットにおけるパフォーマンスを評価した。
• 再現性と統計的厳密性を確保するため、詳細なハイパーパrameter探索空間、複数のランダムシード、誤差棒を提供した。

実験結果

リサーチクエスチョン

• RQ1 実際の生物学的データセットにおいて、さまざまなバッチアクティブラーニングの獲得関数は、パフォーマンスとヒット発見効率の点でどのように比較されるか？
• RQ2 遺伝子干渉研究において、モデルの予測精度と生物学的に関連のある実験的ヒットの発見の間に、どのようなトレードオフが存在するか？
• RQ3 モデルの不確実性推定と多様性ベースの選択戦略は、ドラッグディスカバリーにおける実験設計の有効性にどのように影響するか？
• RQ4 既存のアクティブラーニング手法は、CRISPRスクリーニングデータにおけるさまざまな生物学的システムや表現型読み出しにどの程度一般化可能か？
• RQ5 実験生物学におけるアクティブラーニングベンチマークの信頼性と再現性に影響を与える主な交絡要因は何か？

主な発見

• 不確実性ベースおよび多様性駆動の獲得関数は、ランダムおよびk-meansベースのサンプリングよりもモデルパフォーマンスで優れていたが、生物学的に意味のあるヒットの発見では劣っていた。
• モデルの精度と高影響度の実験的結果の発見の間に顕著なトレードオフが観察され、純粋に予測的なモデルでは生物学的に関連のある仮説を見逃す可能性があることが示唆された。
• 獲得関数のパフォーマンスはデータセットごとに顕著に異なり、ノイズ、次元数、スパarsityなどのデータ特性への感受性が示された。
• 生物学的実験におけるラベルノイズは、ベンチマークで完全に捉えられていない重要な課題を引き起こし、今後の手法開発においてノイズ耐性の向上が不可欠であることを示唆した。
• 1つの獲得関数がすべての指標とデータセットで一貫して優れているとは限らず、適応的またはマルチオブジェクティブ戦略の開発が求められることをベンチマークが明らかにした。
• 20,000時間以上のCPUを活用した広範な評価により、生物学的発見におけるアクティブラーニングの将来的な手法比較・開発のための堅牢で再現可能なベースラインが得られた。