[论文解读] Learning to Optimize in Swarms

Yue Cao, Tianlong Chen+2 more|PubMed|Nov 9, 2019

Stochastic Gradient Optimization Techniques参考文献 27被引用 14

一句话总结

该论文提出LOIS（在群体中学习优化），一种元优化器，通过使用具有样本级和特征级注意力的LSTM群体，联合学习粒子群体的更新规则。通过在元损失中引入后验熵，改善了探索与利用之间的平衡，在非凸函数和蛋白质对接任务上优于现有方法。

ABSTRACT

Learning to optimize has emerged as a powerful framework for various optimization and machine learning tasks. Current such "meta-optimizers" often learn in the space of continuous optimization algorithms that are point-based and uncertainty-unaware. To overcome the limitations, we propose a meta-optimizer that learns in the algorithmic space of both point-based and population-based optimization algorithms. The meta-optimizer targets at a meta-loss function consisting of both cumulative regret and entropy. Specifically, we learn and interpret the update formula through a population of LSTMs embedded with sample- and feature-level attentions. Meanwhile, we estimate the posterior directly over the global optimum and use an uncertainty measure to help guide the learning process. Empirical results over non-convex test functions and the protein-docking application demonstrate that this new meta-optimizer outperforms existing competitors. The codes are publicly available at: https://github.com/Shen-Lab/LOIS.

研究动机与目标

• 解决现有元优化器仅在点基算法空间中学习的局限性，排除了如PSO等强大的群体基方法。
• 通过整合对全局最优解后验分布的微分熵，克服元损失函数中对利用的过度强调，以平衡探索与利用。
• 通过群体LSTM中的样本级与特征级注意力机制，实现对学习到的优化策略的可解释性。
• 通过联合建模粒子群体并共享与自适应的更新规则，将元学习扩展至群体基优化。
• 在具有挑战性的高维非凸问题上展示优越性能，包括使用昂贵且崎岖的能量函数的从头蛋白质对接。

提出的方法

• 训练一个LSTM群体，联合学习粒子群体的迭代更新规则，同时建模单个粒子状态与粒子间关系。
• 集成粒子内注意力，以加权每个粒子状态中的特征重要性，以及粒子间注意力，以建模群体中的关系。
• 将元损失表述为累积遗憾与全局最优解后验分布微分熵的加权和。
• 直接从优化轨迹使用神经网络估计全局最优解的后验分布，实现不确定性感知学习。
• 使用循环结构（LSTM）保持对历史状态、梯度和函数值的记忆，以支持自适应更新决策。
• 在优化任务分布（如Rastrigin函数）上端到端训练元优化器，以实现对多样化目标景观的泛化能力。

实验结果

研究问题

• RQ1 在一系列非凸函数上训练的元优化器，能否泛化至真实世界中的高维优化任务，如蛋白质对接？
• RQ2 在元损失中引入后验熵是否能改善群体基优化中的探索与利用平衡？
• RQ3 样本级与特征级注意力机制在多大程度上提升了学习到的优化策略的可解释性与性能？
• RQ4 与纯点基元优化器相比，在点基与群体基算法的联合空间中学习，是否能提升优化性能？
• RQ5 所提出的元优化器能否在合成基准测试与真实应用中均优于标准群体基算法（如PSO）？

主要发现

• 在10D和20D的Rastrigin函数上，所提出的元优化器分别实现了12.3 ± 5.4和43.0 ± 9.2的平均函数值，显著优于B3（20.4 ± 6.6和48.5 ± 7.1）及其他基线方法。
• 消融研究证实，性能提升主要源于粒子间注意力与后验引导的元损失的引入，而非单纯增加粒子数量。
• 在蛋白质对接任务中，基于真实能量函数训练的元优化器优于PSO以及在合成函数上训练的元优化器，尤其在困难（柔性）情况下表现更优。
• 即使在Rastrigin函数上训练的元优化器，在简单（刚性）情况下也优于PSO，并在困难（柔性）情况下显著超越PSO，证明了其泛化能力。
• 在元损失中引入后验熵显著提升了性能，优于B3，证实其在平衡探索与利用中的关键作用。
• 注意力机制使我们能够可解释地识别出在优化过程中最具影响力的粒子与特征，验证了模型的可解释性设计。