[论文解读] Galerkin Methods for Complementarity Problems and Variational Inequalities

Geoffrey J. Gordon|arXiv (Cornell University)|Jun 20, 2013

Advanced Optimization Algorithms Research参考文献 1被引用 3

一句话总结

本文提出了一种求解互补问题与变分不等式的新型Galerkin方法，通过确保误差界直接依赖于真实解到基子空间的距离，改进了Bertsekas的方法，同时仅需对可行集和基张成空间进行投影，从而实现大规模机器学习、博弈论和物理模拟问题的高效可扩展求解。

ABSTRACT

Complementarity problems and variational inequalities arise in a wide variety of areas, including machine learning, planning, game theory, and physical simulation. In all of these areas, to handle large-scale problem instances, we need fast approximate solution methods. One promising idea is Galerkin approximation, in which we search for the best answer within the span of a given set of basis functions. Bertsekas proposed one possible Galerkin method for variational inequalities. However, this method can exhibit two problems in practice: its approximation error is worse than might be expected based on the ability of the basis to represent the desired solution, and each iteration requires a projection step that is not always easy to implement efficiently. So, in this paper, we present a new Galerkin method with improved behavior: our new error bounds depend directly on the distance from the true solution to the subspace spanned by our basis, and the only projections we require are onto the feasible region or onto the span of our basis.

研究动机与目标

• 解决现有Galerkin方法在变分不等式中误差界较差和投影步骤计算成本过高的局限性。
• 通过直接将误差与真实解到基子空间的距离关联，实现更高的近似精度。
• 通过仅将投影限制在可行集和基张成空间，避免复杂中间投影，降低计算开销。
• 利用高效的线性互补问题（LCP）求解器，实现机器学习、规划和物理模拟中大规模互补问题的可扩展求解。
• 通过具有结构化矩阵性质的投影LCP公式化，建立理论收敛保证和实际效率。

提出的方法

• 提出一种包含两个投影的固定点公式：一个投影到可行集 $C$，另一个投影到基函数张成的空间 $\Phi$。
• 将Galerkin近似定义为如下系统的不动点：$x = \Pi_C(z)$ 和 $z = \Pi_\Phi((I - \alpha F)(x))$，其中 $\alpha$ 为步长。
• 确保近似解 $\bar{x}$ 始终可行（$\bar{x} \in C$），并满足残差条件：存在 $\epsilon \in \text{null}(\Phi^\top)$，使得 $-F(\bar{x}) + \epsilon \in N_C(\bar{x})$。
• 将Galerkin不动点系统转化为形式为 $\text{CP}(Nx + r, K)$ 的线性互补问题（LCP），其中 $N = I - \Pi_\Phi + \alpha \Pi_\Phi M$ 且 $r = \alpha \Pi_\Phi q$。
• 利用 $N$ 的投影结构，加速统一内点法（UIP）方法，当 $k \ll n$ 时，将每次迭代成本降低至 $O(nk^2)$。
• 证明若 $M$ 为正定矩阵，则 $N$ 也为正定矩阵，从而保证LCP求解器具有强单调性和多项式时间收敛性。

实验结果

研究问题

• RQ1 能否设计一种用于变分不等式的Galerkin方法，使其误差界直接依赖于真实解到基子空间的距离？
• RQ2 能否通过避免中间投影、仅保留对可行集和基张成空间的投影，来降低现有Galerkin方法的投影复杂度？
• RQ3 将Galerkin不动点系统转化为投影LCP后，是否能保持收敛性，并通过专用内点法实现更快求解？
• RQ4 当基维数 $k$ 远小于问题维数 $n$ 时，所得到的LCP能否被高效求解？
• RQ5 在何种条件下，变换后的LCP保持良好适定性与收敛性，特别是从矩阵性质（如正定性）的角度？

主要发现

• 所提出的Galerkin方法实现了误差界直接依赖于真实解到基函数张成子空间距离的改进，优于先前方法。
• 该方法仅需两次投影：分别投影到可行集 $C$ 和基张成空间 $\Phi$，消除了对复杂中间投影的需求。
• 不动点解 $\bar{x}$ 始终可行（$\bar{x} \in C$），并满足涉及 $\epsilon \in \text{null}(\Phi^\top)$ 的残差条件，确保近似最优性。
• Galerkin系统被重述为形式为 $\text{CP}(Nx + r, K)$ 的线性互补问题，当 $M$ 为正定时，$N$ 继承了原始矩阵 $M$ 的强单调性。
• 矩阵 $N$ 具有投影结构，使得可使用统一内点法（UIP），每次迭代成本为 $O(nk^2)$，当 $k \ll n$ 时效率较高。
• 在单调性条件下，UIP方法的迭代次数保持多项式级别，确保大规模问题的可扩展收敛性。