[論文レビュー] Oracle Complexity of Second-Order Methods for Finite-Sum Problems

Yossi Arjevani, Ohad Shamir|arXiv (Cornell University)|Nov 15, 2016

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

この論文は、有限和問題に対する2次順序手法のオракル複雑度を調査し、理論的利点にもかかわらず、個々のヘッセ行列が効率的に計算可能な場合、2次順序情報は、1次順序手法よりも最悪ケースの収束速度を改善しないことを示している。主な結果は、この設定において、2次順序手法が1次順序手法よりも良い反復複雑度を達成できないことを示す下界の証明である。

ABSTRACT

Finite-sum optimization problems are ubiquitous in machine learning, and are commonly solved using first-order methods which rely on gradient computations. Recently, there has been growing interest in \emph{second-order} methods, which rely on both gradients and Hessians. In principle, second-order methods can require much fewer iterations than first-order methods, and hold the promise for more efficient algorithms. Although computing and manipulating Hessians is prohibitive for high-dimensional problems in general, the Hessians of individual functions in finite-sum problems can often be efficiently computed, e.g. because they possess a low-rank structure. Can second-order information indeed be used to solve such problems more efficiently? In this paper, we provide evidence that the answer -- perhaps surprisingly -- is negative, at least in terms of worst-case guarantees. However, we also discuss what additional assumptions and algorithmic approaches might potentially circumvent this negative result.

研究の動機と目的

• 個々の関数のヘッセ行列が効率的に計算可能な有限和問題において、2次順序手法が1次順序手法よりも良いオラクル複雑度を達成できるかどうかを明らかにすること。
• 特に高次元設定における有限和最適化の文脈で、2次順序情報の根本的限界を分析すること。
• 標準的な滑らかさと強い凸性の仮定の下で、2次順序情報を利用するいかなるアルゴリズムに対しても、必要なオラクルクエリの数の下界を確立すること。
• 追加の構造的仮定やアルゴリズム的設計が、負の複雑度下界を克服する可能性があるかどうかを調査すること。
• 特に1次順序手法が既知の最適レートを達成しているのと比較して、有限和問題における2次順序手法の理論的限界を明確にすること。

提案手法

• 著者たちは、有限和に含まれる関数の関数値、勾配、ヘッセ行列へのアクセスをモデル化するオラクル複雑度フレームワークを用いる。
• 各成分関数のヘッセ行列が低ランク構造（例：ランク1）を持つ高次元で構造化された難しい最適化問題を構築することで、ヘッセ行列の計算を効率的に行える例を提示する。
• アルゴリズムのクエリにおける非ゼロ座標の数に着目した組み合わせ的議論を用いて、1反復あたりに学習可能な新しい座標の数を追跡する。
• 1反復あたりの座標カバレッジの期待改善に関する再帰的かつ和の上限を導出し、$\epsilon$-精度に到達するのに必要な反復回数が少なくとも$\Omega(n + \sqrt{n\mu/\lambda} \log(1/\epsilon))$以上であることを示す。
• 反復ごとの非ゼロ座標数の期待増加を追跡するため、$n^{d-1}$個のタプルの確率的議論を用いる。
• ジェンセンの不等式とべき級数の恒等式を適用して期待改善をバウンドし、最終的に反復回数の下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 個々の関数のヘッセ行列が効率的に計算可能な有限和問題において、2次順序手法が1次順序手法よりも良いオラクル複雑度を達成できるか？
• RQ2 標準的な滑らかさと強い凸性の仮定の下で、有限和最適化における2次順序情報の根本的限界は何か？
• RQ3 個々の成分関数からのヘッセ行列情報の可用性が、反復複雑度の観点から実際に利点をもたらすのか？
• RQ4 構造的仮定やアルゴリズム的設計が、2次順序手法の複雑度に関する負の下界を回避できる可能性は何か？
• RQ5 ヘッセ行列が取り扱える高次元設定において、2次順序手法の複雑度は1次順序手法と比べてどうなるか？

主な発見

• 2次順序手法は、個々の関数のヘッセ行列が効率的に計算可能であっても、有限和問題の最悪ケースのオラクル複雑度を1次順序手法よりも改善しない。
• 2次順序手法の反復複雑度に対する下界は、1次順序手法に既知の下界と一致する：$\Omega(n + \sqrt{n\mu/\lambda} \log(1/\epsilon))$。
• 個々のヘッセ行列が低ランク（例：ランク1）であっても、この結果は成り立つ。これは、高次元におけるヘッセ行列の計算と保存が効率的に行えることを意味する。
• 負の結果は、勾配を使用するかヘッセ行列を使用するかにかかわらず、1反復あたりに学習可能な新しい座標の数が制限されることに起因する。
• 1反復あたりの座標カバレッジの期待改善は$2/n$でバウンドされ、最悪ケースでは反復回数が$\Omega(n)$に達する。
• 著者たちは、この設定において2次順序情報だけでは、根本的な複雑度の障壁を克服できないと結論づける。追加の仮定がなければ、そのような克服は不可能である。