[论文解读] Golden ratio algorithms for solving equilibrium problems in Hilbert spaces

Nguyen|arXiv (Cornell University)|Apr 5, 2018

Optimization and Variational Analysis参考文献 35被引用 9

一句话总结

该论文提出了一种基于黄金比例的新算法，用于求解希尔伯特空间中的伪单调平衡问题，每轮迭代仅需一个强凸优化子问题，而传统外梯度方法通常需要两个或更多。该方法在较弱的条件下实现了弱收敛和强收敛，包括对双函数的更弱连续性假设，并在数值实验中表现出优于现有算法的计算效率。

ABSTRACT

In this paper, we design a new iterative algorithm for solving pseudomonotone equilibrium problems in real Hilbert spaces. The advantage of our algorithm is that it requires only one strongly convex programming problem at each iteration. Under suitable conditions we establish the strong and weak convergence of the proposed algorithm. The results presented in the paper extend and improve some recent results in the literature. The performances and comparisons with some existing methods are presented through numerical examples.

研究动机与目标

• 解决现有外梯度类算法每轮迭代需求解两个或更多子问题所导致的高计算成本问题。
• 为希尔伯特空间中的伪单调平衡问题设计一种新型迭代算法，通过每轮仅需一个强凸优化问题来降低计算负担。
• 在弱于以往方法的假设条件下，建立收敛性结果（弱收敛与强收敛），特别是放松了对双函数联合弱下半连续性的要求。
• 通过数值实验表明，所提算法在收敛速度和计算时间方面优于现有方法。

提出的方法

• 该算法源自近期用于变分不等式的黄金比例方法，通过一种新型迭代格式被推广至平衡问题。
• 在每轮迭代中，算法求解如下形式的单个强凸优化子问题：在 $ y \in C $ 上最小化 $ \alpha_k f(x^k, y) + \frac{1}{2}\|y - x^k\|^2 $，其中 $ \alpha_k > 0 $。
• 该方法使用一个随 $ \frac{1}{k+1} $ 递减的松弛参数 $ \lambda_k $，确保收敛性，且无需线搜索。
• 在双函数 $ f $ 满足伪单调性及Lipschitz型条件（A5）的假设下证明了收敛性，当双函数为强伪单调时可实现强收敛。
• 该方法避免了多次投影或子问题求解，从而降低了计算复杂度。
• 该方法被应用于有限维与无限维情形，包括 $ L^2([0,1]) $，以验证其鲁棒性与效率。

实验结果

研究问题

• RQ1 我们能否设计一种仅需每轮迭代一个子问题的平衡问题求解器，从而显著降低相较于外梯度类方法的计算成本？
• RQ2 所提出的黄金比例算法是否在弱于双函数联合弱下半连续性要求的假设下仍能收敛？
• RQ3 在收敛速度和计算时间方面，该算法与现有方法（如广义外梯度算法GEA和Hieu的算法）相比表现如何？
• RQ4 当双函数为强伪单调时，该算法是否仍能保持强收敛，即使在连续性条件被弱化的情况下？
• RQ5 该算法在无限维希尔伯特空间（如 $ L^2([0,1]) $）中是否表现出数值稳定性和高效性？

主要发现

• 所提算法（GRA2）在伪单调性及Lipschitz型条件（A5）下，对伪单调平衡问题实现了弱收敛，且无需假设双函数的联合弱下半连续性即可保证收敛。
• 当双函数为强伪单调时，可实现强收敛，其收敛速率依赖于强伪单调性参数 $ \gamma = \frac{1}{2} $（在数值示例中）。
• 在示例6.1中，GRA2使用初始点 $ x^0 = \frac{1}{200}(\sin(-3t) + \cos(-10t)) $，仅需83次迭代和0.0065秒，优于Hieu与Popov的算法在时间和迭代次数上的表现。
• 在示例6.2中，GRA2使用初始点 $ x^0 = \frac{1}{85}(t^3 + 1)e^{5t} $，在83次迭代和0.0065秒内实现收敛，性能与三者中最佳算法相当。
• 在多个测试案例中，该算法在计算时间和迭代次数方面均表现出一致的优越性，证实其在有限维与无限维设置下的高效性。
• 数值结果表明，即使双函数非单调或非强单调，只要满足伪单调性与Lipschitz型条件（A5），该算法仍具鲁棒性与有效性。