[论文解读] Multi-Objective GFlowNets

Moksh Jain, Sharath Chandra Raparthy+5 more|arXiv (Cornell University)|Oct 23, 2022

Advanced Multi-Objective Optimization Algorithms被引用 4

一句话总结

本文提出了多目标生成流网络（MOGFNs），一种新颖的框架，用于在多目标优化中生成多样化且帕累托最优的解。该方法提出两种变体：MOGFN-PC 通过基于奖励条件的生成流网络与标量化方法建模子问题；MOGFN-AL 则采用带有获取函数的主动学习循环。该方法在合成数据、分子设计和蛋白质设计任务中均实现了更优的帕累托性能和显著提升的候选解多样性。

ABSTRACT

We study the problem of generating diverse candidates in the context of Multi-Objective Optimization. In many applications of machine learning such as drug discovery and material design, the goal is to generate candidates which simultaneously optimize a set of potentially conflicting objectives. Moreover, these objectives are often imperfect evaluations of some underlying property of interest, making it important to generate diverse candidates to have multiple options for expensive downstream evaluations. We propose Multi-Objective GFlowNets (MOGFNs), a novel method for generating diverse Pareto optimal solutions, based on GFlowNets. We introduce two variants of MOGFNs: MOGFN-PC, which models a family of independent sub-problems defined by a scalarization function, with reward-conditional GFlowNets, and MOGFN-AL, which solves a sequence of sub-problems defined by an acquisition function in an active learning loop. Our experiments on wide variety of synthetic and benchmark tasks demonstrate advantages of the proposed methods in terms of the Pareto performance and importantly, improved candidate diversity, which is the main contribution of this work.

研究动机与目标

• 为解决现有多目标优化（MOO）方法中缺乏多样性的问题，这些方法仅关注帕累托最优性，而未考虑对多样化候选解的需求。
• 利用生成流网络的内在多样性——即按奖励比例采样候选解——以在多目标优化中生成多样化且高质量的解。
• 在目标为不完美代理且下游评估成本高昂的科学发现任务中，实现高效且有效的候选解生成。
• 开发两种新型变体：MOGFN-PC 用于标量化子问题，MOGFN-AL 用于基于主动学习的多目标优化。
• 通过实证验证，MOGFNs 能够在多样化的基准任务和真实世界任务中同时提升帕累托性能与多样性。

提出的方法

• MOGFN-PC 使用基于奖励条件的生成流网络，对多目标问题进行标量化后生成的一系列单目标子问题进行建模。
• MOGFN-AL 将多目标优化形式化为在主动学习循环内的一系列单目标子问题，使用 NEHVI 作为获取函数以指导候选解生成。
• 生成流网络中的策略网络采用 Transformer 编码器实现，通过选择序列中的位置和氨基酸标记来生成突变，同时通过掩码机制防止重复序列的生成。
• 使用奖励指数 β 并随时间进行退火以稳定训练，获取函数的值用作奖励信号。
• 训练过程中采用均匀随机策略混合 δ，以平衡探索与利用。
• 代理模型为具有 ICM 核心的多任务高斯过程，其输入为一维卷积编码器的潜在空间，使用标准深度学习技术进行训练，并结合早停策略。

实验结果

研究问题

• RQ1 生成流网络能否被有效扩展至多目标优化，以生成多样化且帕累托最优的解？
• RQ2 基于标量化与基于奖励条件的生成流网络的 MOGFN-PC 是否在多样性与帕累托性能方面优于现有 MOO 基线方法？
• RQ3 基于主动学习循环与 NEHVI 获取函数的 MOGFN-AL 能否在昂贵的科学发现任务中提升样本效率与多样性？
• RQ4 关键超参数如 β、δ 和最大突变数如何影响生成候选解的性能与多样性？
• RQ5 当目标为不完美代理时，候选解的多样性在多大程度上能提升下游评估的成功概率？

主要发现

• MOGFN-PC 在合成数据与分子生成任务中成功生成了多样化且帕累托最优的候选解，这是该领域首次对基于奖励条件的生成流网络进行实证验证。
• 在荧光蛋白设计的主动学习设置中，MOGFN-AL 相较于基线方法在样本效率与多样性方面均实现了显著提升。
• 该方法在帕累托前沿上表现出更优性能，实现了更高的超体积改进，并更全面地覆盖了各项目标之间的权衡。
• 消融实验确认，奖励指数 β 和策略混合 δ 对平衡探索与利用至关重要，直接影响多样性与收敛性。
• 采用均匀随机策略混合 δ 在不牺牲性能的前提下提升了多样性，尤其在训练初期效果显著。
• 在所有基准任务（包括序列与分子生成）中，该框架在多样性指标与帕累托前沿质量方面均优于强基线方法。