[論文レビュー] An Inexact Variable Metric Proximal Point Algorithm for Generic Quasi-Newton Acceleration

Hongzhou Lin, Julien Mairal+1 more|arXiv (Cornell University)|Oct 4, 2016

Sparse and Compressive Sensing Techniques参考文献 62被引用数 5

ひとこと要約

本稿では、準ニュートン更新を用いてSVRGなどの一次順序最適化手法を加速する汎用的な不正確な変動メトリック近接点法、QNingを提案する。L-BFGSを用いて部分問題を解き、モアーオ・エンvelope平滑化を施すことにより、強い凸問題に対して線形収束を達成し、スパースな合成目的関数を保ちながら、大規模・高次元な機械学習タスクにおいて顕著な性能向上を実現する。

ABSTRACT

We propose an inexact variable-metric proximal point algorithm to accelerate gradient-based optimization algorithms. The proposed scheme, called QNing can be notably applied to incremental first-order methods such as the stochastic variance-reduced gradient descent algorithm (SVRG) and other randomized incremental optimization algorithms. QNing is also compatible with composite objectives, meaning that it has the ability to provide exactly sparse solutions when the objective involves a sparsity-inducing regularization. When combined with limited-memory BFGS rules, QNing is particularly effective to solve high-dimensional optimization problems, while enjoying a worst-case linear convergence rate for strongly convex problems. We present experimental results where QNing gives significant improvements over competing methods for training machine learning methods on large samples and in high dimensions.

研究の動機と目的

• 一次順序最適化手法を加速する汎用フレームワークを設計し、準ニュートン更新を統合しながら収束保証を維持すること。
• 非滑らかな正則化を含む合成目的関数を対象とした、大規模な機械学習問題における効率的でスケーラブルな最適化を可能にすること。
• SVRGなどのインクリメンタル一次順序手法と、L-BFGS風の曲率近似を組み合わせることで収束速度を向上させること。
• 合成目的関数と互換性を持たせ、ℓ₁ノルムのようなスパース性誘導正則化子を用いる場合に正確なスパース解を保つこと。
• 部分問題の解が不正確であっても、高次元設定下において線形収束レートを維持する収束フレームワークを確立すること。

提案手法

• QNingは、各外反復で変動メトリックを用いた不正確な変動メトリック近接点フレームワークを採用し、平滑化された部分問題を解く。
• 平滑化はモアーオ・エンvelopeにより実現され、元の関数の微分可能性にかかわらず、平滑化関数の勾配がリプシッツ連続であることを保証する。
• 各部分問題は、高次元におけるヘッシアンの近似を効率的に行える、限界記憶BFGS（L-BFGS）更新則を用いて解かれる。
• 内側の部分問題は、時間とともに減少する許容誤差まで解かれるように維持され、グローバル収束が保証される。
• 非滑らかな項ψのプロキシマル作用素は各ステップで正確に計算され、ψがスパース性誘導正則化子である場合に解のスパース性が保たれる。
• 本手法は、SVRG、SAGA、Finito、ブロック座標降下法など、幅広いインクリメンタル一次順序手法と互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 インクリメンタル一次順序手法と併用可能であり、収束保証を維持する汎用的な準ニュートン加速スキームを設計できるか？
• RQ2 L-BFGSと不正確な近接点法を組み合わせることで、標準的一次順序手法に比べて大規模問題でより速い収束が達成できるか？
• RQ3 目的関数に非滑らかな正則化子（例：ℓ₁ノルム）が含まれる場合に、提案手法が正確なスパース解を維持できるか？
• RQ4 平滑化パラメータκの選択が、実用的なアルゴリズムの収束性とロバストネスにどのように影響するか？
• RQ5 部分問題が不正確に解かれる場合でも、アルゴリズムの最悪ケース線形収束レートが達成可能か？

主な発見

• 部分問題が十分な精度で解かれる場合、QNingは強い凸問題に対して最悪ケース線形収束レートを達成する。
• 実験結果から、QNingは大規模データセットや高次元問題における機械学習モデルの学習において、競合手法を顕著に上回る性能を示す。
• 平滑化パラメータκの小さな値に対しても、QNingはロバストであり、κをデフォルト値κ₀未満に下げると性能が向上する。
• 正則化項ψがℓ₁ノルムである場合、QNingは正確なスパース解を維持するため、スパース学習応用に利用可能である。
• QNingにおけるL-BFGSの使用により、高次元問題では標準的一次順序手法（例：SVRG）と比較して顕著な高速化が達成される。
• 理論的最悪ケース収束レートが楽観的である一方で、QNingは実用的に優れた性能を示しており、L-BFGS型手法における理論と実践の間には顕著なギャップがあることが示唆される。