[论文解读] Multi-Fidelity Active Learning with GFlowNets

Álex Hernández-García, Nikita Saxena+3 more|arXiv (Cornell University)|Jun 20, 2023

Machine Learning and Algorithms被引用 4

一句话总结

本文提出MF-GFN，一种新颖的多保真度主动学习框架，利用GFlowNets联合采样分子候选物及其在不同成本与精度的多组评估器中的最优评估保真度。通过训练随机策略高效探索高维搜索空间，MF-GFN在分子发现任务中相比单保真度及现有多保真度基线，展现出更优的成本效益与多样性。

ABSTRACT

In the last decades, the capacity to generate large amounts of data in science and engineering applications has been growing steadily. Meanwhile, machine learning has progressed to become a suitable tool to process and utilise the available data. Nonetheless, many relevant scientific and engineering problems present challenges where current machine learning methods cannot yet efficiently leverage the available data and resources. For example, in scientific discovery, we are often faced with the problem of exploring very large, structured and high-dimensional spaces. Moreover, the high fidelity, black-box objective function is often very expensive to evaluate. Progress in machine learning methods that can efficiently tackle such challenges would help accelerate currently crucial areas such as drug and materials discovery. In this paper, we propose a multi-fidelity active learning algorithm with GFlowNets as a sampler, to efficiently discover diverse, high-scoring candidates where multiple approximations of the black-box function are available at lower fidelity and cost. Our evaluation on molecular discovery tasks shows that multi-fidelity active learning with GFlowNets can discover high-scoring candidates at a fraction of the budget of its single-fidelity counterpart while maintaining diversity, unlike RL-based alternatives. These results open new avenues for multi-fidelity active learning to accelerate scientific discovery and engineering design.

研究动机与目标

• 为解决在高成本高保真度评估下探索大规模高维化学空间的挑战。
• 开发一种方法，自适应地在不同保真度与成本的多个评估器之间分配计算资源，以支持科学发现。
• 通过联合采样分子候选物及其最优评估保真度，超越单保真度主动学习方法。
• 在DNA适配体设计与抗菌肽发现等分子生成任务中，提升多样性与成本效益。
• 通过在合成与真实科学任务上的实证评估，证明GFlowNets在多保真度设置中的优势。

提出的方法

• 该方法采用多保真度代理模型（如高斯过程）来估计在不同保真度下函数值的后验分布 $ p(f_m(x) \mid x, m, \mathcal{D}) $。
• 利用代理模型计算获取函数——具体为最大值熵搜索（MES）——以指导探索。
• 训练GFlowNet以联合采样候选分子 $ x $ 及其对应的保真度水平 $ m $，并将获取函数值用作奖励信号。
• GFlowNet学习一种随机策略，通过建模流网络中轨迹的概率，生成多样化且高分的候选物。
• 从训练好的GFlowNet中生成样本，并选择前 $ B $ 个元组 $ (x, m) $ 在对应评估器上进行评估。
• 该过程迭代更新数据集 $ \mathcal{D} $，并重新训练代理模型与GFlowNet。

实验结果

研究问题

• RQ1 GFlowNets能否被有效扩展至科学发现中的多保真度主动学习？
• RQ2 与单保真度方法相比，联合采样候选物与保真度如何提升成本效益与多样性？
• RQ3 不同评估器成本比率的变化对基于GFlowNets的多保真度主动学习性能有何影响？
• RQ4 在样本效率与多样性方面，MF-GFN与现有基于多保真度贝叶斯优化及强化学习的基线方法相比表现如何？
• RQ5 当低保真度评估器的成本相对较高（接近高保真度评估器成本）时，MF-GFN能否保持高性能？

主要发现

• 在所有测试任务中，包括DNA适配体生成与分子设计，MF-GFN在成本效益方面均优于单保真度GFlowNet（SF-GFN）与多保真度PPO（MF-PPO）。
• 即使低保真度评估器成本比率高达1:2（即 $ \lambda_1 = 1 $，$ \lambda_M = 20 $），MF-GFN仍显著优于SF-GFN与MF-PPO。
• 该方法在不降低顶级分子质量的前提下，实现了更高的生成候选物多样性，这通过分子生成任务中的标准多样性度量得以验证。
• 在DNA适配体任务中，MF-GFN以更少的高保真度评估次数，持续发现得分更高的序列，优于基线方法。
• 实证结果表明，随着评估器间成本差异增大，MF-GFN与基线方法之间的性能差距也随之扩大，证实了该方法在低成本、高保真度场景下的优势。
• 消融研究确认，通过GFlowNet实现候选物与保真度的联合采样是方法成功的关键因素，而不仅仅是多保真度代理模型的使用。