[论文解读] High Dimensional Bayesian Optimization via Supervised Dimension Reduction

Miao Zhang, Huiqi Li+1 more|arXiv (Cornell University)|Jul 21, 2019

Advanced Multi-Objective Optimization Algorithms参考文献 3被引用 6

一句话总结

该论文提出了SIR-BO和KISIR-BO两种新型贝叶斯优化方法，通过切片逆回归（Sliced Inverse Regression, SIR）实现监督式降维，自动学习高维目标函数的内在低维结构。通过引入核技巧以实现非线性建模并降低计算成本，该方法在无需依赖严格可加性或线性嵌入假设的前提下，在线性和非线性函数上均表现出优越性能，在合成任务和真实世界任务（包括超参数调优与机器人控制）中均优于最先进基线方法。

ABSTRACT

Bayesian optimization (BO) has been broadly applied to computational expensive problems, but it is still challenging to extend BO to high dimensions. Existing works are usually under strict assumption of an additive or a linear embedding structure for objective functions. This paper directly introduces a supervised dimension reduction method, Sliced Inverse Regression (SIR), to high dimensional Bayesian optimization, which could effectively learn the intrinsic sub-structure of objective function during the optimization. Furthermore, a kernel trick is developed to reduce computational complexity and learn nonlinear subset of the unknowing function when applying SIR to extremely high dimensional BO. We present several computational benefits and derive theoretical regret bounds of our algorithm. Extensive experiments on synthetic examples and two real applications demonstrate the superiority of our algorithms for high dimensional Bayesian optimization.

研究动机与目标

• 为解决高维贝叶斯优化中的挑战，标准方法因维度灾难而性能下降。
• 克服现有方法依赖强假设（如可加性或线性嵌入结构）的局限性。
• 开发一种在优化过程中自动学习目标函数内在低维子空间的方法。
• 通过高效的SVD与核化技术降低高维设置下的计算复杂度。
• 提供理论遗憾界，并在合成与真实世界应用中验证性能。

提出的方法

• 将切片逆回归（Sliced Inverse Regression, SIR）作为监督式降维技术，将高维输入投影到低维潜在空间，以捕捉目标函数的内在结构。
• 对SIR应用简化SVD以降低计算成本，尤其在N ≪ D的高维设置下表现更优。
• 提出核技巧以将SIR扩展至非线性流形学习，使方法能够建模输入空间中的非线性关系。
• 使用基于学习到的低维投影的高斯过程作为代理模型，用于贝叶斯优化。
• 采用顺序采集函数优化策略，交替更新高斯过程代理模型并选择低维空间中的下一个查询点。
• 推导出所提算法的理论遗憾界，表明在温和假设下具有更优的收敛性。

实验结果

研究问题

• RQ1 通过SIR实现的监督式降维能否有效识别高维目标函数在贝叶斯优化中的内在低维结构？
• RQ2 当真实函数结构与先验假设不匹配时（如可加性或线性结构），该方法相较于最先进高维贝叶斯优化（HDBO）方法表现如何？
• RQ3 核化SIR扩展在非线性高维函数上的性能提升程度如何？
• RQ4 当有效维度d与真实内在维度de不一致时，该方法对维度假设错误的鲁棒性如何？
• RQ5 该方法能否在极高维空间（如D = 20,000）中高效优化，同时保持低遗憾与低计算成本？

主要发现

• SIR-BO与KISIR-BO在合成与真实世界任务中均优于标准贝叶斯优化及所有基线高维贝叶斯优化方法（如REMBO、ADD-BO、Dropout），尤其在目标函数不符合可加性或线性嵌入假设时表现更优。
• 在非线性Trimodel函数上，KISIR-BO表现最佳，而REMBO与ADD-BO性能显著下降，证明了无需先验假设即可学习内在结构的优势。
• 该方法对错误的维度假设具有鲁棒性，当d偏离真实内在维度de时性能下降极小；相比之下，REMBO在d ≠ de时性能明显下降。
• 在D=2000、d=10的波士顿房价数据集上，KISIR-BO收敛速度更快且遗憾更低，证实其在极端高维下的可扩展性。
• 在三连杆行走机器人控制任务中，SIR-BO成功识别出一个低维子空间（d=15），有效捕捉关键参数，优于全空间贝叶斯优化与其他基线方法。
• 实验表明，超参数调优可在相关参数的子空间中有效进行，验证了Hutter等人提出的假设：仅有少数超参数真正具有影响力。