[論文レビュー] Decomposition Techniques for Bilinear Saddle Point Problems and Variational Inequalities with Affine Monotone Operators on Domains Given by Linear Minimization Oracles

Bruce Cox, Anatoli Juditsky+1 more|arXiv (Cornell University)|Jun 8, 2015

Optimization and Variational Analysis参考文献 18被引用数 7

ひとこと要約

本稿では、線形最小化オракル（LMO）によって定義される領域における双線形サドルポイント問題およびアフィン単調作用素を伴う変分不等式を解くための、新しい分解型アルゴリズムを提案する。元の問題を、LMOに基づく効率的な手法で解ける2つの誘導部分問題に分解することにより、近位フレンドリー構造を必要とせず、収束保証を可能にする。これは、先行研究におけるFenchel型表現手法と比較して、より単純な代替手法を提供する。

ABSTRACT

The majority of First Order methods for large-scale convex-concave saddle point problems and variational inequalities with monotone operators are proximal algorithms which at every iteration need to minimize over problem's domain X the sum of a linear form and a strongly convex function. To make such an algorithm practical, X should be proximal-friendly -- admit a strongly convex function with easy to minimize linear perturbations. As a byproduct, X admits a computationally cheap Linear Minimization Oracle (LMO) capable to minimize over X linear forms. There are, however, important situations where a cheap LMO indeed is available, but X is not proximal-friendly, which motivates search for algorithms based solely on LMO's. For smooth convex minimization, there exists a classical LMO-based algorithm -- Conditional Gradient. In contrast, known to us LMO-based techniques for other problems with convex structure (nonsmooth convex minimization, convex-concave saddle point problems, even as simple as bilinear ones, and variational inequalities with monotone operators, even as simple as affine) are quite recent and utilize common approach based on Fenchel-type representations of the associated objectives/vector fields. The goal of this paper is to develop an alternative (and seemingly much simpler) LMO-based decomposition techniques for bilinear saddle point problems and for variational inequalities with affine monotone operators.

研究の動機と目的

• LMO表現可能ではあるが近位フレンドリーでない領域における凸-凹サドルポイント問題および変分不等式のための一次元アルゴリズムを開発すること。
• 低ランク行列回復や画像再構成の応用分野における既存の近位法の限界に対処すること。これらの分野ではLMOは存在するが、フルSVDや二次計画法は計算的に非現実的である。
• 最近の[17]で開発されたFenchel型表現フレームワークの、より単純で分解型の代替手法を提示すること。特に、双線形サドルポイント問題およびアフィン変分不等式に対して。
• 1つの誘導部分問題を精度の高いアルゴリズムで解くことで、マスタープロブレムおよび他の誘導部分問題に対する近似解が得られることを示すこと。これにより、効率的な解の転送が可能になる。

提案手法

• 本手法は、元の問題を2つの誘導部分問題に分解する。1つは1つの変数集合上で最小化するプライマル問題、もう1つは他方の変数集合上で最小化するデュアル問題であり、両者とも凸-凹構造を保つ。
• 1つの誘導問題のϵ解が、マスタープロブレムおよび他の誘導問題のϵ解を直接与えるという事実を活用する。これにより、解の転送が可能になる。
• 本手法は、領域表現にのみ線形最小化オラクル（LMO）を用いる。近位法で必要な強い凸正則化項を必要としない。
• アフィン単調作用素の場合、直接積構造を用いて誘導ベクトル場を定義し、元のVIを次元が低い空間上のより単純なVIに還元できる。
• このフレームワークは[17]のFenchel型表現アプローチを包含・回復するが、より直感的かつ計算コストが低い分解メカニズムを有する。

実験結果

リサーチクエスチョン

• RQ1 LMOへのアクセスのみを前提とし、近位フレンドリー性を要件としない条件下で、LMO表現領域における双線形サドルポイント問題を解くことは可能か？
• RQ2 複雑な凸-凹サドルポイント問題を、LMOベースの解法技術に適したより単純な部分問題にどのように分解できるか？
• RQ3 提案された分解手法と[17]におけるFenchel型表現フレームワークとの関係は何か？
• RQ4 1つの誘導部分問題のϵ解を用いて、マスタープロブレムおよび他の誘導部分問題のϵ解を構築することは可能か？
• RQ5 アフィン単調作用素を伴う変分不等式を解くための、Fenchelベースの表現のより単純で直接的な代替手法を開発することは可能か？

主な発見

• 提案された分解手法により、LMOへのアクセスのみを前提とすることで、LMO表現領域における双線形サドルポイント問題およびアフィン変分不等式を解くことが可能になり、近位フレンドリー構造の必要性を回避できる。
• 1つの誘導部分問題（例：(P)）のϵ解が、直接的にマスタープロブレムおよび他の誘導部分問題（例：(D)）のϵ解をもたらす。これにより、効率的な解の転送が可能になる。
• 強い凸性や近位最小化を要件としないため、収束保証が得られ、核ノルム球や全変動ノルム球のような、近位法が計算的に高コストとなる領域にも適用可能である。
• 分解フレームワークは[17]のFenchel型表現アプローチを包含・回復するが、より単純で直感的な定式化を有する。
• アフィン単調作用素の場合、誘導ベクトル場は直接積構造を用いて明示的に構築可能であり、これにより元の問題が次元が低い空間上のより単純なVIに還元できる。