[论文解读] GeneDisco: A Benchmark for Experimental Design in Drug Discovery

Arash Mehrjou, Ashkan Soleymani+5 more|arXiv (Cornell University)|Oct 22, 2021

CRISPR and Genetic Engineering参考文献 94被引用 8

一句话总结

GeneDisco 引入了一项针对药物发现中批量主动学习的标准化基准，利用经整理的基于 CRISPR 的实验数据集以及最先进获取函数的开源实现。该基准支持在多种生物学情境下系统评估主动学习方法，揭示了模型性能与命中发现效率之间的权衡。

ABSTRACT

In vitro cellular experimentation with genetic interventions, using for example CRISPR technologies, is an essential step in early-stage drug discovery and target validation that serves to assess initial hypotheses about causal associations between biological mechanisms and disease pathologies. With billions of potential hypotheses to test, the experimental design space for in vitro genetic experiments is extremely vast, and the available experimental capacity - even at the largest research institutions in the world - pales in relation to the size of this biological hypothesis space. Machine learning methods, such as active and reinforcement learning, could aid in optimally exploring the vast biological space by integrating prior knowledge from various information sources as well as extrapolating to yet unexplored areas of the experimental design space based on available data. However, there exist no standardised benchmarks and data sets for this challenging task and little research has been conducted in this area to date. Here, we introduce GeneDisco, a benchmark suite for evaluating active learning algorithms for experimental design in drug discovery. GeneDisco contains a curated set of multiple publicly available experimental data sets as well as open-source implementations of state-of-the-art active learning policies for experimental design and exploration.

研究动机与目标

• 解决在生物实验设计中评估主动学习缺乏标准化基准的问题。
• 提供一个可复现的开源平台，以加速机器学习驱动的药物发现研究。
• 在多个真实世界的基因干预数据集上评估最先进获取函数的性能。
• 建立性能基线，并识别在优化实验搜索以获得因果生物学洞见过程中的关键挑战。
• 支持未来针对体外基因实验的高维、稀疏和噪声特性而定制的主动学习方法的发展。

提出的方法

• 从使用 CRISPR 干扰和表型读出的体外基因实验中整理了四个公开可用的数据集。
• 实现了并开源了最先进批量主动学习获取函数，包括不确定性采样、基于多样性以及不确定性-不确定性权衡的方法。
• 使用反事实估计器预测未测试基因干预的结果，并指导实验选择。
• 采用多种性能指标评估方法，包括模型准确率和发现的高影响力生物学命中数。
• 在超过 20,000 个 CPU 小时的规模上进行大规模实验，以评估不同超参数设置和数据集下的性能表现。
• 提供详细的超参数搜索空间、多个随机种子和误差棒，以确保可复现性和统计严谨性。

实验结果

研究问题

• RQ1 在真实生物数据集上，不同批量主动学习获取函数在性能和命中发现效率方面如何比较？
• RQ2 在基因干扰研究中，模型预测准确率与发现生物学相关实验命中之间的权衡关系是什么？
• RQ3 模型不确定性估计与基于多样性的选择策略在药物发现实验设计中的有效性有何影响？
• RQ4 现有主动学习方法在 CRISPR 筛选数据中跨不同生物系统和表型读出的泛化能力如何？
• RQ5 在实验生物学中，影响主动学习基准可靠性与可复现性的关键混淆因素有哪些？

主要发现

• 基于不确定性的获取函数和基于多样性的获取函数在模型性能上优于随机采样和 k-means 基础采样，但在识别生物学上有意义的命中方面表现较差。
• 观察到模型准确率与发现高影响力实验结果之间存在显著权衡，表明仅依赖预测性能的模型可能遗漏生物学相关的假设。
• 获取函数的性能在不同数据集间存在显著差异，表明其对数据特性（如噪声、维度和稀疏性）敏感。
• 生物实验中的标签噪声引入了关键挑战，这些挑战在基准中未被完全捕捉，因此未来方法开发需要具备对噪声标签的鲁棒性。
• 该基准表明，没有一种获取函数在所有指标和数据集上始终优于其他方法，凸显了对自适应或多目标策略的需求。
• 在超过 20,000 个 CPU 小时的广泛评估中，为未来在生物发现中主动学习方法的比较与开发提供了稳健且可复现的基线。