[論文レビュー] Lower Complexity Bounds of Finite-Sum Optimization Problems: The Results and Construction

Yuze Han, Guangzeng Xie+1 more|arXiv (Cornell University)|Mar 15, 2021

Sparse and Compressive Sensing Techniques参考文献 40被引用数 13

ひとこと要約

本稿は、P这些问题のためのProximal Incremental First-order (PIFO)アルゴリズムの解析を可能にする、三重対角行列をnグループに分割する新しい構成を用いて、有限和ミニマックス最適化問題におけるほぼタイトな下界を確立する。結果として、勾配オラクルと比較して、プロキシマルオラクルが与える利点はほとんどなく、L平均滑らかさおよび凸-凹または非凸-強い凹な設定下で、既存の上界と対数要因を除いてほぼ一致する下界が得られる。

ABSTRACT

In this paper, we study the lower complexity bounds for finite-sum optimization problems, where the objective is the average of $n$ individual component functions. We consider Proximal Incremental First-order (PIFO) algorithms which have access to the gradient and proximal oracles for each component function. To incorporate loopless methods, we also allow PIFO algorithms to obtain the full gradient infrequently. We develop a novel approach to constructing the hard instances, which partitions the tridiagonal matrix of classical examples into $n$ groups. This construction is friendly to the analysis of PIFO algorithms. Based on this construction, we establish the lower complexity bounds for finite-sum minimax optimization problems when the objective is convex-concave or nonconvex-strongly-concave and the class of component functions is $L$-average smooth. Most of these bounds are nearly matched by existing upper bounds up to log factors. We can also derive similar lower bounds for finite-sum minimization problems as previous work under both smoothness and average smoothness assumptions. Our lower bounds imply that proximal oracles for smooth functions are not much more powerful than gradient oracles.

研究の動機と目的

• 有限和ミニマックス問題におけるランダム化PIFOアルゴリズムの根本的限界を理解するギャップを埋めること。
• PIFOアルゴリズム（特に繰り返しのないバージョンで、希な完全勾配アクセスを許容するもの）と互換性を持つ、ハードインスタンスの新しい構成法を開発すること。
• L平均滑らかさの下で、凸-凹および非凸-強い凹な有限和ミニマックス問題の両方に対して、下界を導出すること。
• 有限和最適化において、プロキシマルオラクルと勾配オラクルのパワーを比較し、プロキシマルアクセスによる性能向上がほとんどないことを示すこと。
• 有限和最小化およびミニマックス問題に対して、既存の上界と対数要因を除いてほぼ一致する、ほぼタイトな下界を提示すること。

提案手法

• 古典的な三重対角行列をnグループに分割する新しいハードインスタンス構成を提案し、PIFOアルゴリズムの解析に特化する。
• 各成分関数の関数値、勾配、およびプロキシマル写像を提供するPIFOオラクルを定義し、希な完全勾配アクセスを許容する。
• L平均滑らかさおよび(μx, μy)-凸-凹または非凸-強い凹な仮定の下でアルゴリズムを分析する。
• ハードインスタンスにおける再帰的構造を用いて、PIFOアルゴリズムが特定のレートより速く進捗を進めないことを示し、下界を導出する。
• 特定の条件下でのプロキシマル作用素の挙動に関する補題を適用し、反復間で解空間が不変であることを証明する。
• 任意のPIFOアルゴリズムがε-最適性またはε-停留性に到達するには、ある数のオラクルクエリを絶対に必要とすることを示して、下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 有限和ミニマックス問題をε精度で解くために必要なPIFOオラクルクエリの数の根本的下界は何か？
• RQ2 勾配オラクルのみと比較して、プロキシマルオラクルを含めることで、有限和ミニマックス最適化の複雑さはどのように変化するか？
• RQ3 PIFOアルゴリズム（特に幾何的完全勾配インターバルを持つ繰り返しのない方法を含む）の挙動を捉えることができる、新しいハードインスタンス構成を設計できるか？
• RQ4 既存の上界と、導出された下界との一致度は、対数要因を除いてどの程度か？
• RQ5 L平均滑らかさの下で、有限和設定においてプロキシマルオラクルのパワーは勾配オラクルを著しく上回るのか？

主な発見

• 本稿は、L平均滑らかさの下で、有限和ミニマックス問題に対するほぼタイトな下界を確立し、既存の上界と対数要因を除いてほぼ一致する。
• 三重対角行列の分割による提案されたハードインスタンス構成は、PIFOアルゴリズムの解析を明確に可能にし、繰り返しのない手法および二重ループ手法の限界を捉えている。
• 有限和ミニマックス問題において、プロキシマルオラクルは勾配オラクルに比べてほとんど利点をもたらさない。下界は、プロキシマルアクセスがない場合のものとほぼ同一である。
• 凸-凹および非凸-強い凹な設定では、下界により、いかなるPIFOアルゴリズムも導出されたレートより速くε-最適性またはε-停留性に到達できないことが示される。
• 結果は、滑らかさおよび平均滑らかさの両設定下での有限和最小化問題にも拡張され、これらの領域における既知の上界のタイトさが確認される。
• 解析により、有限和問題を解く複雑さは、プロキシマルまたは勾配オラクルのどちらを使用するかにかかわらず、成分関数へのアクセス回数によって根本的に制限されることを確認した。