[论文解读] Multi-Objective Simultaneous Optimistic Optimization

Abdullah Al-Dujaili, Suresh Sundaram|arXiv (Cornell University)|Dec 26, 2016

Advanced Multi-Objective Optimization Algorithms参考文献 45被引用 3

一句话总结

本文提出多目标联合乐观优化（MO-SOO），一种基于树结构的算法，通过使用多臂赌博机对决策空间进行分层划分，将乐观序列决策方法应用于黑箱多目标优化。MO-SOO在有限时间内实现收敛，对ε-指示器具有确定性上界，并表现出渐近一致性，在300个基准问题上的性能与最先进的算法SMS-EMOA相当。

ABSTRACT

Optimistic methods have been applied with success to single-objective optimization. Here, we attempt to bridge the gap between optimistic methods and multi-objective optimization. In particular, this paper is concerned with solving black-box multi-objective problems given a finite number of function evaluations and proposes an optimistic approach, which we refer to as the Multi-Objective Simultaneous Optimistic Optimization (MO-SOO). Popularized by multi-armed bandits, MO-SOO follows the optimism in the face of uncertainty principle to recognize Pareto optimal solutions, by combining several multi-armed bandits in a hierarchical structure over the feasible decision space of a multi-objective problem. Based on three assumptions about the objective functions smoothness and hierarchical partitioning, the algorithm finite-time and asymptotic convergence behaviors are analyzed. The finite-time analysis establishes an upper bound on the Pareto-compliant unary additive epsilon indicator characterized by the objectives smoothness as well as the structure of the Pareto front with respect to its extrema. On the other hand, the asymptotic analysis indicates the consistency property of MO-SOO. Moreover, we validate the theoretical provable performance of the algorithm on a set of synthetic problems. Finally, three-hundred bi-objective benchmark problems from the literature are used to substantiate the performance of the optimistic approach and compare it with three state-of-the-art stochastic algorithms, namely MOEA/D, MO-CMA-ES, and SMS-EMOA in terms of two Pareto-compliant quality indicators. Besides sound theoretical properties, MO-SOO shows a performance on a par with the top performing stochastic algorithm, viz. SMS-EMOA.

研究动机与目标

• 解决在有限评估预算下进行黑箱多目标优化的挑战。
• 将原本用于单目标优化的乐观序列决策方法扩展至多目标场景。
• 在光滑性和分层划分假设下，为连续多目标问题提供理论收敛保证。
• 在大规模基准测试套件上，通过实证验证MO-SOO与最先进随机算法的性能对比。
• 分析问题结构，特别是冲突维度，对算法性能的影响。

提出的方法

• MO-SOO使用多臂赌博机的分层树结构，在多个尺度上对决策空间进行划分。
• 基于置信上界，应用‘面对不确定性时的乐观性’原则选择节点进行扩展。
• 通过ND(⋅)算子在目标空间中比较节点，维护非支配解集。
• 通过依赖于函数光滑性和冲突维度的上界，分析有限时间收敛性，该上界针对单一加性ε-指示器。
• 在相同假设下证明了渐近一致性，表明算法收敛至真实的帕累托前沿。
• 该方法采用与深度相关的探索策略，通过最大深度函数h_max(t)控制每轮迭代中访问的层级数量。

实验结果

研究问题

• RQ1 能否有效将乐观序列决策方法扩展至多目标黑箱优化？
• RQ2 在连续多目标问题中，针对有限时间性能和渐近收敛性，可建立哪些理论保证？
• RQ3 冲突维度（衡量帕累托前沿相对于其极值点的结构）如何影响算法的收敛性和性能？
• RQ4 MO-SOO在实证上与最先进随机多目标优化器（如MOEA/D、MO-CMA-ES和SMS-EMOA）相比表现如何？
• RQ5 MO-SOO在处理弱结构化、多峰目标函数时存在哪些局限性？

主要发现

• MO-SOO对单一加性ε-指示器实现了确定性上界，该上界依赖于目标函数的光滑性和帕累托前沿的冲突维度。
• 该算法表现出渐近一致性，在给定假设下收敛至真实的帕累托前沿。
• 在300个双目标基准问题上，MO-SOO在两个帕累托兼容的质量指标上与表现最佳的SMS-EMOA算法性能相当。
• 弱结构化、多峰目标问题对MO-SOO构成挑战，归因于其对近似最优维度和序列划分的依赖。
• 理论上的性能上界与实证结果高度吻合，验证了理论分析的正确性。
• 迭代次数和深度访问次数显著受决策空间维度和冲突维度的影响，维度越高，计算成本越大。