[論文レビュー] Action constrained quasi-Newton methods

Robert M. Gower, Jacek Gondzio|arXiv (Cornell University)|Dec 27, 2014

Matrix Theory and Algorithms参考文献 37被引用数 12

ひとこと要約

本稿では、低次元部分空間におけるヘシアン作用のサンプリングを用いて逆ヘシアン近似を構築する、新しいフレームワークであるアクション制約付き準ニュートン法（quNac）を提案する。この手法により、不正確ニュートン-CGソルバーにおける効率的で並列的かつロバストな前処理が可能となり、2次収束を達成し、ロジスティックSVMおよび古典的テスト問題において、非前処理ニュートン-CGよりも優れたウォルク・クロック性能を示す。

ABSTRACT

At the heart of Newton based optimization methods is a sequence of symmetric linear systems. Each consecutive system in this sequence is similar to the next, so solving them separately is a waste of computational effort. Here we describe automatic preconditioning techniques for iterative methods for solving such sequences of systems by maintaining an estimate of the inverse system matrix. We update the estimate of the inverse system matrix with quasi-Newton type formulas based on what we call an action constraint instead of the secant equation. We implement the estimated inverses as preconditioners in a Newton-CG method and prove quadratic termination. Our implementation is the first parallel quasi-Newton preconditioners, in full and limited memory variants. Tests on logistic Support Vector Machine problems reveal that our method is very efficient, converging in wall clock time before a Newton-CG method without preconditioning. Further tests on a set of classic test problems reveal that the method is robust. The action constraint makes these updates flexible enough to mesh with trust-region and active set methods, a flexibility that is not present in classic quasi-Newton methods.

研究の動機と目的

• ヘシアンの単一の方向ではなく、部分空間における作用を活用することで、柔軟で並列処理可能な準ニュートンフレームワークの構築を目的とする。
• 明示的なヘシアン計算を避けるために、行列-ベクトル作用でのみ、低ランク更新を用いた逆ヘシアン近似の更新を可能にする。
• スケーラブルな最適化を実現するため、フルメモリおよびリミテッドメモリバージョンを備えたニュートン-CGフレームワークに統合する。
• 正定値性と2次収束を保証するため、正の曲率部分空間における作用制約を導入する。
• 大規模なロジスティックSVM問題および古典的テスト問題において、ロバスト性と効率性を実証する。

提案手法

• 古典的なセカント方程式の代わりに、作用制約を用い、更新された逆ヘシアン推定値が与えられた部分空間の方向において真の逆ヘシアンと同様に作用することを制約する。
• 正の曲率方向のクリロフ基底におけるヘシアン作用から得られる低ランク更新により、近似の正定値性を保証する。
• 逆ヘシアン推定値はニュートン-CG法における前処理子として維持され、ブロック行列演算を用いて並列に更新が行われる。
• フルメモリおよびリミテッドメモリバージョンを実装し、リミテッドメモリ版では過去の更新履歴をローリングして使用する。
• 本手法がニュートン系に適用された際に2次収束を保証する「2次的遺伝性」を証明する。
• サンプリング部分空間を適応的に選択することで、信頼領域法やアクティブセット法への統合が可能であり、フレームワークの柔軟性が向上する。

実験結果

リサーチクエスチョン

• RQ1 単一のベクトルではなく部分空間における作用を用いることで、準ニュートン更新を一般化し、情報の流入を向上させるとともに並列処理を可能にすることができるか？
• RQ2 このような一般化が、ニュートン-CGフレームワークにおいて正定値性と2次収束を維持できるか？
• RQ3 アクション制約付き準ニュートン前処理子は、大規模問題において、標準的な非前処理ニュートン-CGよりもウォルク・クロック時間で優れた性能を発揮するか？
• RQ4 本手法は、非自明な条件数を持つ古典的テスト問題および現実世界のロジスティックSVM問題において、どのように性能を発揮するか？
• RQ5 適応的サブスペースサンプリングにより、信頼領域法やアクティブセット最適化フレームワークに柔軟に統合できるか？

主な発見

• アクション制約付き準ニュートン法はニュートン-CGフレームワークで2次収束を達成し、フルメモリバージョンでは2次的遺伝性が裏付けられた。
• ロジスティック損失と正則化を伴うロジスティックSVM問題において、非前処理ニュートン-CGよりもウォルク・クロック時間で収束が速い。
• 本手法のリミテッドメモリバージョンは、L-BFGS型の更新を並列で実装する初の実装であり、スケーラブルでブロック並列な低ランク更新を可能にする。
• 古典的テスト問題において、ヒルベルト関数やウォーターファンクションを含むさまざまな悪条件系において、ロバストな性能を示した。
• n=1000のヒルベルト行列関数では、本手法は21.76秒で完了したが、非前処理CGはタイムアウトに終わったため、顕著な効率性向上が確認された。
• 本手法の柔軟性により、負の曲率方向におけるサンプリングを用いることで、信頼領域モデルへの適応が可能となり、適用範囲が拡張された。