[论文解读] Efficient nonmyopic active search with applications in drug and materials discovery

Shali Jiang, Gustavo Malkomes+2 more|arXiv (Cornell University)|Nov 21, 2018

Machine Learning and Algorithms被引用 6

一句话总结

本文提出了一种高效且非贪心的主动搜索策略，用于药物和材料发现，该策略在无需调参的情况下平衡了探索与利用。该方法引入了一个贝叶斯决策框架，证明了近似难度和自适应间隙的理论边界，并在真实世界数据集的顺序和批量设置下，展现出优于贪心基线方法的优越性能。

ABSTRACT

Active search is a learning paradigm for actively identifying as many members of a given class as possible. A critical target scenario is high-throughput screening for scientific discovery, such as drug or materials discovery. In this paper, we approach this problem in Bayesian decision framework. We first derive the Bayesian optimal policy under a natural utility, and establish a theoretical hardness of active search, proving that the optimal policy can not be approximated for any constant ratio. We also study the batch setting for the first time, where a batch of $b>1$ points can be queried at each iteration. We give an asymptotic lower bound, linear in batch size, on the adaptivity gap: how much we could lose if we query $b$ points at a time for $t$ iterations, instead of one point at a time for $bt$ iterations. We then introduce a novel approach to nonmyopic approximations of the optimal policy that admits efficient computation. Our proposed policy can automatically trade off exploration and exploitation, without relying on any tuning parameters. We also generalize our policy to batch setting, and propose two approaches to tackle the combinatorial search challenge. We evaluate our proposed policies on a large database of drug discovery and materials science. Results demonstrate the superior performance of our proposed policy in both sequential and batch setting; the nonmyopic behavior is also illustrated in various aspects.

研究动机与目标

• 解决在科学发现中，受限于标签预算，识别稀有正样本（如有效药物或材料）的挑战。
• 开发一种非贪心主动搜索策略，考虑查询的长期影响，避免贪心前瞻的局限性。
• 为顺序和批量设置下的主动搜索建立理论基础，包括近似难度和自适应间隙边界。
• 设计一种高效且无需调参的策略，自动在主动搜索中平衡探索与利用。
• 将非贪心策略推广至批量主动搜索，同时保持非贪心行为和计算可行性。

提出的方法

• 使用一种自然效用函数（统计已识别的正样本数量）将主动搜索形式化为贝叶斯决策问题。
• 在该效用下推导贝叶斯最优策略，并证明不存在多项式时间策略能实现常数因子近似比。
• 提出一种新颖的非贪心近似方法，评估每个候选点对未来查询效用的长期影响。
• 通过提出两种高效的近似技术，将策略推广至批量主动搜索，以应对组合搜索挑战。
• 基于期望边际增益使用代理效用，实现在不显式枚举所有未来路径的情况下高效计算。
• 在模拟中引入一个悲观 oracle，通过降低邻近点的概率来增强探索，促进批次中的多样性。

实验结果

研究问题

• RQ1 是否可以高效计算非贪心主动搜索策略，同时在主动搜索中保持强理论保证？
• RQ2 顺序和批量主动搜索策略之间的理论自适应间隙是多少？它如何随批量大小变化？
• RQ3 与贪心或贪婪策略相比，非贪心行为在真实世界科学发现设置中如何提升性能？
• RQ4 非贪心策略是否能自动平衡探索与利用，而无需手动调整超参数？
• RQ5 在实际应用中，模型误设在多大程度上影响非贪心策略的性能？

主要发现

• 最优主动搜索策略在计算上是不可行的，因为不存在多项式时间算法能实现常数因子近似比。
• 建立了自适应间隙的渐近下界：最优顺序查询性能至少比批量查询（批量大小为 b）好 Ω(b/log T) 倍。
• 所提出的非贪心策略 batch-ens 在真实药物和材料发现数据集的顺序和批量设置下，显著优于贪心基线方法。
• 实证结果表明，batch-ens 的选择概率随时间增加，表明其表现出非贪心行为：早期优先探索，后期侧重利用。
• 悲观 oracle 通过促进批次中的多样性，提升了性能，有效模拟了排斥力，防止查询聚集。
• 尽管存在理论边界，batch-ens 在较大批量尺寸（如 5）时有时优于较小批量（如 1），表明在实践中更大的批次可能增强探索能力。