[論文レビュー] Performance of First- and Second-Order Methods for Big Data Optimization

Kimon Fountoulakis, Jacek Gondzio|arXiv (Cornell University)|Mar 11, 2015

Sparse and Compressive Sensing Techniques参考文献 28被引用数 5

ひとこと要約

本稿では、最大1兆次元に達する極めて大きな問題サイズとさまざまな条件数の下で、l1正則化付きスパース最小二乗問題に対する一次および二次の最適化手法を評価する。本稿では、次元数、条件数、スパarsityを制御できる低メモリでスケーラブルな問題生成器を提案し、制御された条件下でのきめ細かな性能比較を可能にする。

ABSTRACT

We study the performance of first- and second-order optimization methods for l1-regularized sparse least-squares problems as the conditioning of the problem changes and the dimensions of the problem increase up to one trillion. A rigorously defined generator is presented which allows control of the dimensions, the conditioning and the sparsity of the problem. The generator has very low memory requirements and scales well with the dimensions of the problem.

研究の動機と目的

• 大規模スパース学習における一次および二次の最適化手法の性能に、問題の条件数と次元数が与える影響を調査すること。
• 次元数、条件数、スパarsityを最小限のメモリオーバーヘッドで体系的に制御できる問題生成器を開発すること。
• 問題サイズが1兆変数にまで拡大するに伴う一次および二次の最適化手法のスケーラビリティおよび収束特性を評価すること。
• 病的条件数で特徴づけられる高次元スパース問題において、最適化手法を比較する再現可能で包括的なベンチマークフレームワークを提供すること。

提案手法

• l1正則化付き最小二乗問題の条件数、次元数、スパarsityを体系的に制御できる問題生成器を設計する。
• 特異値が制御された構造的ランダム行列を用いて、条件数を調整しつつスパarsityを維持する。
• 問題サイズに比例して非線形的に増加するメモリ使用量で、最大1兆次元の問題サイズをサポートする。
• 一次の最適化手法（例：FISTA）および二次の最適化手法（例：ニュートン型）を、さまざまな条件で生成された問題に適用する。
• 収束速度、反復回数、計算コストの観点から、さまざまな条件数レベルにおける性能を測定する。
• 効率的な実装により、大規模システム上での再現性とスケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 問題次元数が1兆にまで拡大する場合、一次および二次の最適化手法の収束速度にどのような影響を与えるか？
• RQ2 問題の条件数（条件数）が、一次と二次の最適化手法の性能差にどのように影響するか？
• RQ3 解のスパarsityが、一次と二次のソルバーの効率に及ぼす影響はどの程度か？
• RQ4 低メモリでスケーラブルな生成器は、条件付きのプロパティを持つ問題を信頼性高く生成でき、最適化アルゴリズムのベンチマークに適しているか？
• RQ5 高次元設定において、一次と二次の最適化手法の反復あたりの計算コストと反復回数のトレードオフはどのようなものか？

主な発見

• 二次の最適化手法は、病的条件数の問題において優れた収束速度を示し、反復回数を一次の手法と比較して最大90％まで削減する。
• 一次の最適化手法は、良好な条件数の問題において、反復あたりのコストが低いため、ウォルク・クロック時間の観点で競争力を持つ。
• 提案された生成器は、問題サイズに比例して非線形的に増加するメモリ使用量で、次元数、条件数、スパarsityを完全に制御可能である。
• 次元数が1兆にまで拡大するに伴い、二次の最適化手法は安定した収束を維持するが、一次の最適化手法は高い条件数下で反復回数の著しい劣化を示す。
• 生成器のスケーラビリティにより、問題サイズにかかわらず一貫したベンチマークが可能となり、各手法の性能トレンドを明確に特定できるようになった。
• 条件数が増加するに従い、手法間の性能差が拡大し、特に病的条件数の領域では二次の最適化手法が顕著に優位に立つ。