[论文解读] A Flexible Framework for Multi-Objective Bayesian Optimization using Random Scalarizations

Biswajit Paria, Kirthevasan Kandasamy+1 more|arXiv (Cornell University)|May 30, 2018

Advanced Multi-Objective Optimization Algorithms参考文献 46被引用 34

一句话总结

本文提出了一种灵活且计算高效的多目标贝叶斯优化（MOO）框架，通过随机加权法针对帕累托前沿的特定区域进行优化，实现偏好感知的优化。该方法实现了次线性遗憾，并在合成问题和真实世界问题（如LSH调优与Viola-Jones人脸检测）中，表现出优于基线方法的灵活性、可扩展性以及遗憾最小化能力。

ABSTRACT

Many real world applications can be framed as multi-objective optimization problems, where we wish to simultaneously optimize for multiple criteria. Bayesian optimization techniques for the multi-objective setting are pertinent when the evaluation of the functions in question are expensive. Traditional methods for multi-objective optimization, both Bayesian and otherwise, are aimed at recovering the Pareto front of these objectives. However, in certain cases a practitioner might desire to identify Pareto optimal points only in a subset of the Pareto front due to external considerations. In this work, we propose a strategy based on random scalarizations of the objectives that addresses this problem. Our approach is able to flexibly sample from desired regions of the Pareto front and, computationally, is considerably cheaper than most approaches for MOO. We also study a notion of regret in the multi-objective setting and show that our strategy achieves sublinear regret. We experiment with both synthetic and real-life problems, and demonstrate superior performance of our proposed algorithm in terms of the flexibility and regret.

研究动机与目标

• 为解决传统MOO方法试图恢复整个帕累托前沿所带来的局限性，即可能包含因目标冲突而产生的不理想解。
• 使实践者能够基于特定领域的偏好，将优化聚焦于帕累托前沿中用户指定的特定区域。
• 开发一种计算高效的MOO方法，其计算复杂度随目标数量线性增长，并支持灵活的采样策略。
• 在多目标设置中形式化一种包含用户偏好的遗憾概念，对采样超出期望区域的行为施加惩罚。
• 通过实证验证，所提方法在遗憾水平上达到更低或相当的表现，同时保持在目标区域的高采样集中度。

提出的方法

• 该方法使用由先验分布中抽取的权重参数化的随机加权函数，将多目标值转化为标量效用得分。
• 在标量化目标上应用标准贝叶斯优化，利用高斯过程代理模型指导获取函数的优化。
• 加权参数从编码用户偏好的先验分布中采样，使算法能够聚焦于帕累托前沿的期望区域。
• 通过优化获取函数，在标量化空间中平衡探索与利用，目标是最小化多目标设置下的遗憾。
• 该框架通过调整加权函数的先验分布，支持在特定帕累托前沿区域进行目标采样，也可实现对整个前沿的探索。
• 理论分析表明，在正则性条件下，随着评估次数的增加，该方法在极限下可实现零遗憾。

实验结果

研究问题

• RQ1 贝叶斯优化框架能否在多目标优化中高效地从用户定义的帕累托前沿区域采样？
• RQ2 与固定或自适应加权法相比，使用随机加权法在遗憾和计算成本方面表现如何？
• RQ3 所提方法在目标数量增加时是否仍能保持线性可扩展性并实现低遗憾？
• RQ4 该框架能否通过在加权函数上设定先验分布来融入用户偏好，同时实现次线性遗憾？
• RQ5 在全帕累托前沿近似计算成本过高的高维MOO问题中，该方法的有效性如何？

主要发现

• 在初始探索阶段后，所提方法在合成问题与真实世界实验中均成功将采样集中在指定的帕累托前沿区域。
• 在LSH-Glove与Viola-Jones调优任务中，该方法在简单遗憾方面达到更低或相当的表现，尤其在高维设置中改进最为显著。
• 该算法在目标数量上表现出线性可扩展性，适用于具有多个冲突准则的问题。
• 遗憾分析表明，在正则性假设下，该方法实现次线性遗憾，且遗憾在极限下趋近于零。
• 实证结果证实，该方法有效平衡了偏好感知采样与计算效率，在目标区域探索方面优于基线方法。
• 该框架成功应用于NLP与计算机视觉流水线中的超参数调优等真实世界应用，展现出实际应用价值。