[论文解读] Black-box optimization for integer-variable problems using Ising machines and factorization machines

Yuya Seki, Ryo Tamura+1 more|arXiv (Cornell University)|Sep 1, 2022

Metaheuristic Optimization Algorithms Research被引用 8

一句话总结

本文提出了一种带退火的因子分解机（FMA）框架，通过伊辛机器和三种整数编码方法——二进制编码、独热编码与域墙编码，实现了对整数变量问题的黑箱优化。通过将代理模型表述为QUBO问题，FMA利用模拟退火高效探索搜索空间，在氢分子基态能量估计中实现了高精度，其中独热编码在小规模问题中表现尤为突出。

ABSTRACT

Black-box optimization has potential in numerous applications such as hyperparameter optimization in machine learning and optimization in design of experiments. Ising machines are useful for binary optimization problems because variables can be represented by a single binary variable of Ising machines. However, conventional approaches using an Ising machine cannot handle black-box optimization problems with non-binary values. To overcome this limitation, we propose an approach for integer-variable black-box optimization problems by using Ising/annealing machines and factorization machines in cooperation with three different integer-encoding methods. The performance of our approach is numerically evaluated with different encoding methods using a simple problem of calculating the energy of the hydrogen molecule in the most stable state. The proposed approach can calculate the energy using any of the integer-encoding methods. However, one-hot encoding is useful for problems with a small size.

研究动机与目标

• 将黑箱优化扩展至整数变量问题，因为传统伊辛机器方法受非二进制变量约束限制而无法处理此类问题。
• 评估在因子分解机与退火（FMA）框架下，不同整数编码方案（二进制编码、独热编码与域墙编码）的性能表现。
• 评估FMA在使用模拟退火而非量子退火以隔离编码影响的前提下，求解整数变量黑箱优化问题的可扩展性与准确性。
• 识别当前FMA方法的局限性，特别是随着搜索空间维度增加导致的性能下降问题。

提出的方法

• 该方法使用因子分解机（FM）与二进制变量作为黑箱函数的代理模型，实现与伊辛机器兼容的QUBO表述。
• 通过三种不同方法将整数变量编码为二进制变量：二进制编码、独热编码与域墙编码，每种方法均将单个整数变量映射为多个二进制变量。
• 在QUBO哈密顿量中添加惩罚项以强制执行编码约束，惩罚系数设为 p = 1,000 以确保可行性。
• 使用模拟退火（SA）最小化代理模型的能量，其退火时序经过仔细调优，基于比特翻转引起的能量差的上界。
• 通过最小化代理模型的能量来引导搜索低代价解，最终将解映射回原始整数空间。
• 该框架在基准问题上进行评估：使用一个简单且可解析求解的系统，计算氢分子的基态能量。

实验结果

研究问题

• RQ1 不同的整数编码方法（二进制编码、独热编码、域墙编码）如何影响FMA在整数变量黑箱优化中的性能？
• RQ2 当黑箱函数未知时，FMA结合伊辛机器与模拟退火能否实现整数变量问题的高精度求解？
• RQ3 随着搜索空间维度的增加，FMA在不同编码下的性能受到何种影响？
• RQ4 在小规模问题中，独热编码是否在收敛性与准确性方面优于二进制编码或域墙编码？
• RQ5 惩罚系数与退火时序在不同编码方案下对稳定优化过程起到何种作用？

主要发现

• 所提出的FMA框架成功地使用三种整数编码方法高精度地计算了氢分子的基态能量。
• 在小规模问题中，独热编码表现出更优性能，以更少的优化挑战获得准确结果。
• 随着搜索空间维度的增加，性能出现下降，尤其在独热编码中，能量误差显著上升。
• 随着维度增加，黑箱函数调用次数显著增长，而能量误差的降低却微乎其微。
• 使用模拟退火而非量子退火，使编码影响得以清晰隔离，证实性能下降源于编码方式与搜索空间大小本身。
• 针对每种编码方法，均解析推导出比特翻转引起能量差的上界，从而支持设计有效的退火时序。