[論文レビュー] Average-case Acceleration Through Spectral Density Estimation

Fabián Pedregosa, Damien Scieur|arXiv (Cornell University)|Feb 12, 2020

Random Matrices and Applications参考文献 26被引用数 9

ひとこと要約

本稿では、二次的問題における平均的最適化解析のための新しいフレームワークを提案し、ヘッセ行列の固有値分布（例：Marchenko-Pastur、一様、指数分布）をモデル化することで、加速を達成するモーメンタムベースのアルゴリズムを導出する。古典的な加速手法とは異なり、最小固有値の知識を必要としないハイパーパrameter推定が可能であり、合成的および実世界の二次的およびロジスティック回帰問題において、最悪ケース最適手法よりも顕著な性能向上が実証されている。

ABSTRACT

We develop a framework for the average-case analysis of random quadratic problems and derive algorithms that are optimal under this analysis. This yields a new class of methods that achieve acceleration given a model of the Hessian's eigenvalue distribution. We develop explicit algorithms for the uniform, Marchenko-Pastur, and exponential distributions. These methods are momentum-based algorithms, whose hyper-parameters can be estimated without knowledge of the Hessian's smallest singular value, in contrast with classical accelerated methods like Nesterov acceleration and Polyak momentum. Through empirical benchmarks on quadratic and logistic regression problems, we identify regimes in which the the proposed methods improve over classical (worst-case) accelerated methods.

研究の動機と目的

• ランダムな二次的問題における最適化アルゴリズムの平均的解析のフレームワークを構築し、最悪ケースから期待性能への焦点のシフトを図る。
• ヘッセ行列の固有値分布を古典的確率的行列理論（例：Marchenko-Pastur、一様、指数分布）を用いてモデル化し、アルゴリズム設計の指針とする。
• 平均的最適解析の下で最適となる、新規のモーメンタム型最適化アルゴリズムを導出する。ハイパーパrameterは最小固有値の知識なしに推定可能である。
• 提案手法を合成データおよび実世界のデータセット上で実験的に評価し、古典的な最悪ケース最適化手法および共役勾配法と性能を比較する。
• 平均的最適手法の適用可能性と限界を、二次的問題を越えて、特にロジスティック回帰設定において探求する。

提案手法

• 残留多項式フレームワークを用いて一次最適化手法の平均的解析を形式化し、期待される非最適性とヘッセ行列のスペクトル測度の関係を明示する。
• スペクトル分布（Marchenko-Pastur、一様、指数分布）ごとに、多項式空間における最良近似問題を解くことで最適アルゴリズムを導出する。
• 現在の勾配と直前の2回の反復値にのみ依存するモーメンタムベースの更新ルールを設計し、仮定されたスペクトル密度から導かれる係数を用いる。
• 最小特異値に依存しないように、データの固有値分布から直接アルゴリズムのハイパーパrameter（モーメンタムとステップサイズ）を推定する。
• 既知のスペクトル密度を持つ合成二次的問題と、実世界のデータセット（数字、乳癌）およびロジスティック回帰タスクに手法を適用する。
• 共役勾配法を実験的最適性のベンチマークとして用い、同一のスペクトル仮定下での収束速度を比較する。

実験結果

リサーチクエスチョン

• RQ1 ヘッセ行列の固有値分布が既知または推定可能である場合、最適化アルゴリズムの平均的解析が実用的な加速をもたらすか？
• RQ2 平均的最適アルゴリズムは、古典的な最悪ケース最適手法（例：Polyakモーメンタム、Nesterov加速）に比べて、実際の性能でどの程度優れるか？
• RQ3 提案手法は、二次的目的関数を想定して導出されたが、ロジスティック回帰のような二次的でない問題へも一般化可能か？
• RQ4 平均的最適手法の性能は、仮定されたスペクトル密度モデルの正確さ（例：Marchenko-Pastur vs. 経験的スペクトル）にどの程度依存するか？
• RQ5 平均的最適手法の漸近的挙動は何か？また、古典的なモーメンタムスキーム（例：Polyakモーメンタム）とはどのように関係するか？

主な発見

• Marchenko-Pastur加速法は、MP分布に従うヘッセ行列を有する合成問題において、共役勾配法とほぼ同等の収束速度を達成し、最悪ケース最適手法を上回る。
• 実世界の二次的問題（数字、乳癌）において、平均的最適手法は、修正版Polyak法やNesterov加速法といった古典的加速手法を顕著に上回る。
• ロジスティック回帰タスクにおいて、一様分布加速法は全体的に優れた性能を示し、4つの実験のうち3つで古典的手法を同等または上回った。
• Marchenko-Pastur法は、4つのロジスティック回帰実験のうち3つで劣悪な性能を示し、真のヘッセ行列が仮定されたスペクトル分布に従わない場合のモデル不一致への感受性を示した。
• 平均的最適手法は、ゼロ固有値が存在する場合でも線形収束を示し、病的な条件数に強く、ロバストであることを実証した。
• 実験的結果から、平均的最適手法は非二次的問題へ一般化可能である可能性があるが、理論的裏付けは未解決であり、再起動やラインサーチなどの適応が必要となる可能性がある。