[論文レビュー] A Stochastic Quasi-Newton Method for Large-Scale Nonconvex Optimization with Applications

Honglin Chen, Huanran Wu+2 more|arXiv (Cornell University)|Dec 10, 2019

Sparse and Compressive Sensing Techniques参考文献 39被引用数 5

ひとこと要約

本稿では、大規模な非凸最適化のための新しい確率的減衰および正則化付き限界メモリ BFGS 法（Sd-REG-LBFGS）を提案する。正定値性を保証し、正則化と減衰パラメータによる悪条件性の緩和により、数値的安定性と収束性を向上させる。この手法は、特に小バッチサイズの下で SdLBFGS を上回り、ロジスティック回帰およびベイジアンロジスティック回帰のタスクにおいて、バッチサイズやメモリサイズの変動に対して優れたロバスト性を示す。

ABSTRACT

This paper proposes a novel stochastic version of damped and regularized BFGS method for addressing the above problems.

研究の動機と目的

• 非凸問題における確率的準ニュートン法の悪条件性と正定値性の喪失という課題に対処すること。
• ノイズの多いヘシアン近似のもとでも、大規模な非凸最適化における確率的 LBFGS のロバスト性と収束性を向上させること。
• 間隔をあけて平均化された反復点を用いて曲率情報を更新することで、計算コストを低減しながらも精度を維持すること。
• 正則化と減衰パラメータ戦略を用いて、小標本サイズにおける数値的安定性を向上させること。
• 合成データおよび実世界のデータセットを用いたロジスティック回帰およびベイジアンロジスティック回帰における性能評価。

提案手法

• ヘシアン近似が正定値のままであり、特異性を回避できるように、減衰および正則化付き BFGS 更新を提案する。
• 補正ペアの積の正の性質を保証するための減衰パラメータを導入し、数値的安定性を向上させる。
• 間隔をあけて平均化された反復点を用いて曲率情報を更新することで、確率的 LBFGS における計算コストを低減する。
• 完全なヘシアン計算を回避し、ノイズを低減するために、部分的にサンプリングされたヘシアン・ベクトル積を用いて曲率を推定する。
• 特に小標本サイズ下で悪条件性が顕著になる状況を想定し、BFGS 更新に正則化を適用する。
• 大規模問題におけるスケーラビリティとストレージ要件の低減を実現するため、限界メモリフレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 正則化および減衰付き BFGS 更新は、非凸最適化における確率的準ニュートン法の収束性と安定性を向上させ得るか？
• RQ2 悪条件性が顕著になる小バッチサイズ下で、提案手法はどのように性能を発揮するか？
• RQ3 曲率情報の更新に平均化された反復点を用いることで、収束品質を損なわずに計算コストを低減できるか？
• RQ4 バッチサイズおよびメモリサイズの変動に対して、SdLBFGS と比較して、提案手法はよりロバストか？
• RQ5 既存の確率的準ニュートン法と比較して、提案手法はロジスティック回帰およびベイジアンロジスティック回帰問題で優れた性能を達成できるか？

主な発見

• 提案手法 Sd-REG-LBFGS は、SdLBFGS よりも顕著に高い分類精度を達成しており、符号検定では log p値が -15.05、ウィルコクソン検定では -9.40 であり、統計的有意性（p < 0.05）が示された。
• 小標本サイズ下では、正則化と減衰による数値的安定性の向上のおかげで、SdLBFGS よりも提案手法が優れた性能を発揮する。
• 特に小バッチ環境下で顕著な優位性を示し、バッチサイズやメモリサイズの変動に対して SdLBFGS よりもよりロバストである。
• 合成データおよび実データセットの両方で、平均分類精度が 95.14%（S1）および 95.25%（S2）を達成し、SdLBFGS や他のベースラインを顕著に上回った。
• 平均化された反復点と正則化付き更新のおかげで、最小限の曲率情報でも高い性能を維持できる。
• 結果から、正則化と減衰が非凸確率的最適化における悪条件性の緩和と収束性の向上に有効であることが示された。