[論文レビュー] Complementary Composite Minimization, Small Gradients in General Norms, and Applications to Regression Problems.

Jelena Diakonikolas, Cristóbal Guzmán|arXiv (Cornell University)|Jan 26, 2021

Sparse and Compressive Sensing Techniques参考文献 23被引用数 5

ひとこと要約

本稿は、一般ノルム空間における補完的複合最小化のための統一的で加速されたアルゴリズム的フレームワークを導入する。目的関数は弱い滑らか性と一様凸性の項に分解される。このフレームワークは近似的に最適な収束速度を達成し、特に $\infty\ell_1$/$\infty\ell_\infty$ の設定における一般ノルムでの勾配最小化のほぼ最適な手法を可能にし、ユークリッド設定におけるネステロフの境界と一致する。

ABSTRACT

Composite minimization is a powerful framework in large-scale convex optimization, based on decoupling of the objective function into terms with structurally different properties and allowing for more flexible algorithmic design. In this work, we introduce a new algorithmic framework for complementary composite minimization, where the objective function decouples into a (weakly) smooth and a uniformly convex term. This particular form of decoupling is pervasive in statistics and machine learning, due to its link to regularization. The main contributions of our work are summarized as follows. First, we introduce the problem of complementary composite minimization in general normed spaces; second, we provide a unified accelerated algorithmic framework to address broad classes of complementary composite minimization problems; and third, we prove that the algorithms resulting from our framework are near-optimal in most of the standard optimization settings. Additionally, we show that our algorithmic framework can be used to address the problem of making the gradients small in general normed spaces. As a concrete example, we obtain a nearly-optimal method for the standard $\ell_1$ setup (small gradients in the $\ell_\infty$ norm), essentially matching the bound of Nesterov (2012) that was previously known only for the Euclidean setup. Finally, we show that our composite methods are broadly applicable to a number of regression problems, leading to complexity bounds that are either new or match the best existing ones.

研究の動機と目的

• 一般ノルム空間における補完的複合最小化の問題を形式化し、研究すること。ここで目的関数は弱い滑らか性と一様凸性の項に分解される。
• 広範なクラスのこのような問題に対して収束を加速する統一的アルゴリズム的フレームワークを開発すること。
• 提案されたアルゴリズムの反復複雑度の近似的に最適な境界を、標準的な最適化設定のあらゆる場面で確立すること。
• フレームワークを一般ノルムにおける勾配最小化問題へと拡張し、特に非ユークリッド設定において有効にすること。
• フレームワークが回帰問題への実用的適用性を示し、改善されたまたは新しい複雑度境界をもたらすこと。

提案手法

• フレームワークは一般ノルム空間で動作し、双対性とノルム固有の滑らかさ・強凸性の性質を活用して、適応的更新則を設計する。
• 弱い滑らかさと一様凸性の相乗効果に適合した、ハイブリッドモーメンタムとプロキシマルステップに基づく新しい加速メカニズムを採用する。
• 一様凸性項に関連するブレグマン発散に基づいて導出された適応的ステップサイズを用いた一般化されたプロキシマル点法を採用する。
• 任意のノルムにおける双対ギャップと勾配の大きさを制限するための、新しい双対性に基づく解析技術を導入する。
• $\infty\ell_\infty$ 勾配最小化問題における $\infty\ell_1$-様な構造を扱うために、再重み付け戦略を組み込む。
• 滑らかさと強凸性の項を組み合わせたポテンシャル関数を用いた収束の証明により、高速なグローバル収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 一般ノルム空間における補完的複合最小化のための統一的で加速されたアルゴリズムを設計することは可能か？
• RQ2 特に $\infty\ell_1$/$\infty\ell_\infty$ の設定において、一般ノルムでの勾配最小化の最適な反復複雑度は何か？
• RQ3 提案されたフレームワークは、多様な凸最適化問題においてどのように近似的に最適性を達成するのか？
• RQ4 フレームワークは、改善されたまたは新しい複雑度境界を持つ回帰問題に効果的に適用可能か？
• RQ5 ノルム構造は、ユークリッドの場合を超えて、勾配の小ささを実現するために果たす役割は何か？

主な発見

• 提案されたアルゴリズム的フレームワークは、一般ノルム空間における補完的複合最小化において、近似的に最適な収束速度を達成する。
• $\infty\ell_\infty$ ノルム下での $\infty\ell_1$ 構造における勾配最小化問題に対して、従来ユークリッド設定でのみ知られていた最適境界にほぼ一致する。
• Lasso や関連するスパース回帰モデルを含む、さまざまな回帰問題に対して、新たなまたは改善された複雑度境界をもたらす。
• 解析により、標準的な設定において、アルゴリズムの収束速度が対数因子を除いて最適であることが示された。
• ノルムの選択に対してロバストであり、滑らかさと凸性の異なるレジームにおいても理論的保証が成り立つ。
• フレームワークにより、目的関数値と勾配ノルムの両方を同時に最小化するアルゴリズムの設計が可能となり、統計的推定において重要である。