[论文解读] A Principled Method for the Creation of Synthetic Multi-fidelity Data Sets

Clyde Fare, Peter J. Fenner+1 more|arXiv (Cornell University)|Aug 11, 2022

Advanced Multi-Objective Optimization Algorithms被引用 4

一句话总结

本文提出了一种系统化方法，通过将多输出高斯过程扩展为共区化（coregionalization）结构，生成合成的多保真度数据集，从而实现对合成保真度与参考数据之间相关性的系统控制。该方法允许对多保真度优化算法进行基准测试，且可调节代理质量，弥合了解析函数与真实世界数据集之间的差距。

ABSTRACT

Multifidelity and multioutput optimisation algorithms are of active interest in many areas of computational design as they allow cheaper computational proxies to be used intelligently to aid experimental searches for high-performing species. Characterisation of these algorithms involves benchmarks that typically either use analytic functions or existing multifidelity datasets. However, analytic functions are often not representative of relevant problems, while preexisting datasets do not allow systematic investigation of the influence of characteristics of the lower fidelity proxies. To bridge this gap, we present a methodology for systematic generation of synthetic fidelities derived from preexisting datasets. This allows for the construction of benchmarks that are both representative of practical optimisation problems while also allowing systematic investigation of the influence of the lower fidelity proxies.

研究动机与目标

• 为解决多保真度优化算法缺乏系统性、代表性基准的问题，这些基准允许对代理保真度质量进行受控变化。
• 实现对算法性能如何依赖于低保真代理与真实值之间相关性的系统性研究。
• 生成既反映真实世界问题特征，又可对其与参考数据的统计关系进行控制的合成保真度。
• 提供一种灵活的生成框架，用于创建反映现实代理特征的基准数据集，同时可精确调节保真度相关性。

提出的方法

• 该方法使用带有共区化核的多输出高斯过程（MOGP）来建模不同保真度之间的相关性，基于现有高保真度和低保真度数据进行训练。
• 通过最大对数边际似然法优化MOGP的超参数，以捕捉参考函数和代理函数的内在特征（例如长度尺度）。
• 在MOGP中增加一个新的输出维度以表示合成保真度，其后验分布基于现有模型结构推导得出。
• 合成保真度样本表示为已知保真度数据与先验样本的线性组合，系数通过求解以实现期望的相关性水平。
• 通过基于序列Cholesky分解的方法求解系数，使目标相关性与参考函数和代理函数相匹配，从而实现相关性控制。
• 该方法确保生成的合成保真度在统计上与数据一致，同时可通过相关性参数任意调节保真度质量。

实验结果

研究问题

• RQ1 如何生成合成多保真度数据集，以系统性地改变低保真代理与真实值之间的相关性？
• RQ2 合成保真度在在多大程度上能再现真实的功能特征，同时又能对保真度质量进行精确控制？
• RQ3 多保真度优化算法的性能如何随代理数据中不同水平的保真度间相关性而变化？
• RQ4 所提出的方法能否生成既反映真实世界问题又适合严格算法基准测试的合成数据集？

主要发现

• 该方法成功生成了与真实值及现有低保真度代理均具有用户定义相关性水平的合成保真度。
• 来自合成保真度后验分布的样本可表示为已知保真度数据与先验样本的线性组合，从而实现对相关性的解析控制。
• 该方法可创建既反映真实世界优化问题特征，又能系统性调节代理保真度质量的基准数据集。
• 该方法具有通用性，可应用于任何现有的单保真度或多保真度数据集，无论其底层函数结构如何。
• 在Liu和Currin测试函数上的实证结果表明，该方法能够生成与参考函数具有不同程度相关性的多样化合成保真度。
• 该框架支持生成具有可调节保真度成本与相关性之间权衡的合成保真度，从而支持对多保真度优化中遗憾曲线的深入分析。