[论文解读] Decomposition Techniques for Bilinear Saddle Point Problems and Variational Inequalities with Affine Monotone Operators on Domains Given by Linear Minimization Oracles

Bruce Cox, Anatoli Juditsky+1 more|arXiv (Cornell University)|Jun 8, 2015

Optimization and Variational Analysis参考文献 18被引用 7

一句话总结

本文提出了一种基于分解的新型算法，用于求解在由线性最小化 oracle（LMO）定义的域上具有仿射单调算子的双线性鞍点问题与变分不等式。通过将原问题分解为两个衍生子问题——其中一个可通过基于 LMO 的高效方法求解——该方法在无需依赖近亲友结构的前提下实现了收敛性保证，为先前工作中基于 Fenchel 型表示的方法提供了一种更简洁的替代方案。

ABSTRACT

The majority of First Order methods for large-scale convex-concave saddle point problems and variational inequalities with monotone operators are proximal algorithms which at every iteration need to minimize over problem's domain X the sum of a linear form and a strongly convex function. To make such an algorithm practical, X should be proximal-friendly -- admit a strongly convex function with easy to minimize linear perturbations. As a byproduct, X admits a computationally cheap Linear Minimization Oracle (LMO) capable to minimize over X linear forms. There are, however, important situations where a cheap LMO indeed is available, but X is not proximal-friendly, which motivates search for algorithms based solely on LMO's. For smooth convex minimization, there exists a classical LMO-based algorithm -- Conditional Gradient. In contrast, known to us LMO-based techniques for other problems with convex structure (nonsmooth convex minimization, convex-concave saddle point problems, even as simple as bilinear ones, and variational inequalities with monotone operators, even as simple as affine) are quite recent and utilize common approach based on Fenchel-type representations of the associated objectives/vector fields. The goal of this paper is to develop an alternative (and seemingly much simpler) LMO-based decomposition techniques for bilinear saddle point problems and for variational inequalities with affine monotone operators.

研究动机与目标

• 开发用于在 LMO 可表示但非近亲友结构的域上的凸-凹鞍点问题与变分不等式的首阶算法。
• 解决现有近亲方法在低秩矩阵恢复与图像重建等应用中的局限性，这些应用中存在 LMO 但全奇异值分解或二次规划在计算上不可行。
• 为近期在 [17] 中提出的 Fenchel 型表示框架提供一种更简单、基于分解的替代方法，尤其适用于双线性鞍点问题与仿射变分不等式。
• 证明通过精确算法求解一个衍生子问题，可获得主问题与另一子问题的近似解，从而实现高效解的传递。

提出的方法

• 该方法将原问题分解为两个衍生子问题：一个在某一变量集上最小化（主问题），另一个在另一变量集上最小化（对偶问题），二者均继承凸-凹结构。
• 利用一个关键事实：对任一衍生子问题的 ϵ-解可直接导出主问题与另一子问题的 ϵ-解，从而实现解的传递。
• 该方法仅依赖线性最小化 oracle（LMO）表示域，避免了近亲方法中所需的强凸正则化项。
• 对于仿射单调算子，该方法利用直积结构定义衍生向量场，从而将原变分不等式问题约化为在低维空间求解更简单的变分不等式问题。
• 该框架被证明可涵盖并恢复 [17] 中的 Fenchel 型表示方法，但采用更直观且计算开销更低的分解机制。

实验结果

研究问题

• RQ1 我们能否仅通过 LMO 访问，在无需近亲友结构的前提下求解 LMO 表示域上的双线性鞍点问题？
• RQ2 如何将复杂的凸-凹鞍点问题分解为更简单的子问题，使其适用于基于 LMO 的求解技术？
• RQ3 所提出的分解方法与 [17] 中的 Fenchel 型表示框架之间存在何种关系？
• RQ4 能否利用一个衍生子问题的 ϵ-解来构造主问题与另一子问题的 ϵ-解？
• RQ5 能否为求解具有仿射单调算子的变分不等式，开发一种比基于 Fenchel 的表示更简单、更直接的替代方法？

主要发现

• 所提出的分解方法仅通过 LMO 访问，即可求解 LMO 表示域上的双线性鞍点问题与仿射变分不等式，无需依赖近亲友结构。
• 对任一衍生子问题（如 (P)）的 ϵ-解可直接导出主问题与另一子问题（如 (D)）的 ϵ-解，从而实现高效的解传递。
• 该方法在不依赖强凸性或近亲最小化的情况下实现收敛性保证，使其适用于近亲方法计算代价高昂的域，如核范数球与总变差球。
• 该分解框架被证明可涵盖并恢复 [17] 中的 Fenchel 型表示方法，但采用更简洁、更直接的公式化形式。
• 对于仿射单调算子，通过直积结构显式构造了衍生向量场，从而可将原问题约化为在低维空间求解更简单的变分不等式问题。