[論文レビュー] First-Order Methods with Increasing Iterate Averaging for Solving Saddle-Point Problems

Christian Kroer|arXiv (Cornell University)|Mar 26, 2019

Stochastic Gradient Optimization Techniques参考文献 15被引用数 4

ひとこと要約

本稿では、鞍点問題における最適勾配法において、最近の反復を重みづけする適応的平均化スキームを提案し、保証された $1/T$ 収束速度を達成するとともに、実際の性能において均一平均化や最終反復を上回ることを示した。この手法は、行列ゲーム、フィッシャー市場、画像ノイズ除去の応用において検証され、収束性と安定性に優れた性能を示した。

ABSTRACT

First-order methods are known to be among the fastest algorithms for solving large-scale convex-concave saddle-point problems. Algorithms that achieve a theoretical convergence rate on the order of $1/T$ are known, but these often rely on uniformly averaging iterates in order to get the guaranteed rate. In contrast, using the last iterate has repeatedly been found to perform better in practice, but with no guarantee on convergence rate. In this paper we propose using averaging schemes with increasing weight on recent iterates, which leads to a guaranteed $1/T$ convergence rate, while capturing the practical performance of using the last iterate. We show this for Chambolle and Pock's primal-dual algorithm, and mirror prox. We present numerical results on computing Nash equilibria in matrix games, competitive equilibria in Fisher markets, and image denoising via total-variation minimization under the $\ell_1$ norm. In all cases we find that our averaging schemes lead to much better performance than uniform averaging, and sometimes even better performance than using the last iterate.

研究の動機と目的

• 凸-凹鞍点問題における最適勾配法の理論的収束保証と実用的性能のギャップを解消すること。
• 均一平均化の制限を克服すること。均一平均化は理論的 $1/T$ 収束を保証するが、実際には最終反復の性能に劣る。
• 均一平均化の理論的保証と最終反復の実用的効率性を組み合わせた平均化スキームを設計すること。
• 行列ゲーム、競合均衡、画像ノイズ除去といった実世界問題における重みを増加させる平均化の有効性を示すこと。
• 最終反復は強力な実用的性能を示すが収束速度保証がないため、理論的根拠に基づく代替手法を提供すること。

提案手法

• 最適勾配プライマル・デュアルアルゴリズムにおいて、最近の反復に増加する重みを割り当てる適応的平均化スキームを導入する。
• ChambolleとPockのプライマル・デュアルアルゴリズムおよびミラー近似法にこのスキームを適用し、これらは鞍点問題の標準的ソルバーである。
• 新しい平均化スキームの下での理論的収束レートを導出し、両アルゴリズムに対して $1/T$ 収束を証明する。
• 非減少の重みを用いた反復の重み付き平均を採用し、最近の反復が初期の反復よりも寄与度を高める。
• 最適化の過程で効率的なオンライン計算が可能な再帰的更新ルールを用いる。
• 3つの問題クラス（行列ゲーム、フィッシャー市場均衡、$\ell_1$ ノルム下の全変動ノイズ除去）においてこの手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 $1/T$ 収束を保証するとともに、最終反復の実用的性能に匹敵または上回る平均化スキームを設計できるか？
• RQ2 最近の反復に重みを増やすことで、最適勾配法における鞍点問題ソルバーの収束速度と安定性にどのような影響を与えるか？
• RQ3 提案スキームは、実世界の応用において、均一平均化と最終反復の両方を上回るか？
• RQ4 Chambolle-Pockおよびミラー近似法の文脈において、新しい平均化スキームの理論的収束挙動はいかなるものか？
• RQ5 この手法は、ゲーム理論的均衡や画像処理タスクを含む多様な問題タイプに一般化可能か？

主な発見

• 提案された重みを増加させる平均化スキームは、理論的 $1/T$ 収束速度を達成し、最適勾配法における最高水準のレートを再現した。
• 行列ゲームでは、新しいスキームが均一平均化を著しく上回り、最終反復と同等または上回る収束速度を示した。
• フィッシャー市場の競合均衡においては、均一平均化と比較してより速い収束と改善された安定性を示した。
• 全変動画像ノイズ除去においては、適応的平均化が均一平均化よりも優れた目的関数値の低減を達成し、場合によっては最終反復をも上回った。
• 数値結果から、この手法は均一平均化を一貫して上回り、時として最終反復をも凌駕する実用的性能を示した。
• 理論的保証と実験的利点は、多様な問題領域において一貫しており、本手法の堅牢性を裏付けた。