[论文解读] AutoOED: Automated Optimal Experiment Design Platform

Yunsheng Tian, Mina Konaković Luković+3 more|arXiv (Cornell University)|Apr 13, 2021

Advanced Multi-Objective Optimization Algorithms参考文献 14被引用 7

一句话总结

AutoOED 是一个开源的、基于图形用户界面的平台，采用最先进的贝叶斯优化技术，实现自动化多目标最优实验设计。它通过支持顺序和批量评估、分布式协作以及在 Python 中模块化集成自定义算法，加速在数据和时间受限环境下的帕累托最优解发现。

ABSTRACT

We present AutoOED, an Optimal Experiment Design platform powered with automated machine learning to accelerate the discovery of optimal solutions. The platform solves multi-objective optimization problems in time- and data-efficient manner by automatically guiding the design of experiments to be evaluated. To automate the optimization process, we implement several multi-objective Bayesian optimization algorithms with state-of-the-art performance. AutoOED is open-source and written in Python. The codebase is modular, facilitating extensions and tailoring the code, serving as a testbed for machine learning researchers to easily develop and evaluate their own multi-objective Bayesian optimization algorithms. An intuitive graphical user interface (GUI) is provided to visualize and guide the experiments for users with little or no experience with coding, machine learning, or optimization. Furthermore, a distributed system is integrated to enable parallelized experimental evaluations by independent workers in remote locations. The platform is available at https://autooed.org.

研究动机与目标

• 解决科学与工程领域中昂贵的黑箱目标函数带来的多目标优化问题挑战。
• 通过自动化实验设计，实现在数据稀缺环境下的高效帕累托最优解发现。
• 为非专家用户提供直观易用的界面，使其无需编程即可开展复杂优化任务。
• 通过集中式数据库和基于角色的访问控制，支持跨远程团队的分布式协作工作流。
• 通过模块化、可扩展的代码库，促进新型多目标贝叶斯优化算法的研究与开发。

提出的方法

• 基于多目标贝叶斯优化（MOBO）构建模块化流水线，各组件解耦：代理模型、获取函数、帕累托集求解器和选择策略。
• 集成最先进的 MOBO 算法，包括 DGEMO、TSEMO、USeMO、ParEGO、NSGA-II 和 MOEA/D，以满足多样化的优化需求。
• 支持顺序和批量评估，提供同步与异步批量处理机制，以应对不同评估时间的场景。
• 提供基于 Tkinter 的图形用户界面，采用 MVC 架构，实时可视化优化进展、设计空间和性能权衡。
• 通过与平台链接的自定义评估脚本，支持与物理实验和仿真的集成。
• 部署基于集中式数据库的分布式团队版本，实现不同角色用户（如科学家、经理、技术人员）之间的优化状态同步。

实验结果

研究问题

• RQ1 如何使多目标优化对机器学习和编程领域外的非专家用户更加易用？
• RQ2 在数据效率高、真实世界实验设计场景下，最先进的 MOBO 算法表现如何？
• RQ3 在协作式优化工作流中，如何有效支持分布式、异步的实验评估？
• RQ4 模块化开源平台在多大程度上能加速新型 MOBO 算法的开发与基准测试？
• RQ5 统一平台能否有效弥合复杂多目标设计问题中的仿真与物理实验之间的鸿沟？

主要发现

• AutoOED 仅通过数十次实验评估即可实现快速收敛至帕累托前沿，在数据稀缺环境下显著降低时间和成本。
• 平台的异步批量评估模式在实验持续时间差异较大的情况下，显著提升了整体效率。
• 图形用户界面使无编程经验的用户能够实时配置、监控和引导优化过程。
• 模块化架构支持代理模型、获取函数和求解器的即插即用式替换，有利于算法研究与基准测试。
• 分布式团队版本支持跨地理分布用户的权限控制协作，显著提升了多用户研发环境的可扩展性。
• AutoOED 已成功应用于材料科学、化学、机器人学和制药等真实世界问题，相关公开示例与案例研究已证实其有效性。