[論文レビュー] Stochastic Bound Majorization

Anna Choromanska, Tony Jebara|arXiv (Cornell University)|Sep 22, 2013

Stochastic Gradient Optimization Techniques参考文献 32被引用数 3

ひとこと要約

本稿では、Hessianとは異なる2次曲率情報を用いた、グローバルに保証された二次上界を活用する確率的バウンダーマジョライゼーション（SBM）手法を提案する。この手法は、反復回数および計算時間の両面でSGDおよびASGDを上回る収束速度とより優れた解の品質を達成しており、高次元設定下でも線形計算複雑性を維持する低ランクバージョンを備えている。

ABSTRACT

Recently a majorization method for optimizing partition functions of log-linear models was proposed alongside a novel quadratic variational upper-bound. In the batch setting, it outperformed state-of-the-art first- and second-order optimization methods on various learning tasks. We propose a stochastic version of this bound majorization method as well as a low-rank modification for high-dimensional data-sets. The resulting stochastic second-order method outperforms stochastic gradient descent (across variations and various tunings) both in terms of the number of iterations and computation time till convergence while finding a better quality parameter setting. The proposed method bridges first- and second-order stochastic optimization methods by maintaining a computational complexity that is linear in the data dimension and while exploiting second order information about the pseudo-global curvature of the objective function (as opposed to the local curvature in the Hessian).

研究の動機と目的

• SGDなどの一次の確率的手法の限界、すなわち収束が遅いこと、ハイパーパrameterに敏感であること、正則化問題における性能が劣ることを解消すること。
• ニュートン法などの正確な2次手法の高い計算コストを克服するため、データ次元に対して線形複雑性を維持する確率的バージョンを開発すること。
• 完全なHessianを計算せずに、グローバルな曲率情報を組み込むことで、一次と二次の最適化の溝を埋めること。
• 高次元データにスケーラブルでありながら、2次の利点を保持するため、曲率バウンダの低ランク近似を開発すること。
• 実騤的に、提案手法が最先端の確率的一次最適化手法を上回る収束速度とより優れた一般化性能を示すことを示すこと。

提案手法

• 元来、対数パーティション関数に対する二次変分上界を用いたバッチ版マジョライゼーション手法を、反復的なデータポイント更新により確率的設定に適応する。
• 収束保証を維持しつつ、逐次的かつ確率的なパラメータ更新を可能にするために、バッチ更新則にSherman-Morrisonの公式を適用する。
• 局所的なHessianとは異なり、目的関数の擬似グローバル曲率を近似するグローバルな二次上界に基づく曲率行列を用いる。
• 計算コストを$Ó(d)$に削減するため、曲率行列の低ランク近似（ランク$k=1$）を導入し、高次元データへのスケーラビリティを実現する。
• フルランク版では固定ステップサイズ$η_0 = 1/t$を採用し、ハイパーパrameterチューニングの必要性を排除する。低ランク版では$η_0$のみをチューニングする。
• マジョライゼーションに基づく構成により、各ステップで目的関数値が非増加となるように保証され、単調収束を確保する。

実験結果

リサーチクエスチョン

• RQ1 グローバルな曲率情報を活用しつつ、線形計算複雑性を維持する確率的2次最適化手法を開発できるか？
• RQ2 提案手法である確率的バウンダーマジョライゼーション（SBM）の収束速度および解の品質は、SGDおよびASGDと比べてどの程度優れているか？
• RQ3 低ランク近似は、高次元データへのスケーリングを実現しつつ、2次最適化の利点をどの程度保持できるか？
• RQ4 テスト尤度および誤差で測定した一般化性能において、本手法は多様なデータセットにおいて一次の確率的手法を上回るか？
• RQ5 フルランク形ではチューニングフリーであるか？ その場合、収束挙動にどのような影響を与えるか？

主な発見

• SBMは、Mnist、gisette、SecStr、digitl、Textを含むすべてのテストデータセットで、SGDおよびASGDよりも反復回数が少ない。
• 低ランクSBMバージョンは、1秒あたりの尤度上昇量において、SGDおよびASGDを上回り、計算時間の観点からも最も速い収束を達成した。
• SBMは、テスト尤度が高く、テスト誤差が低いという点で、SGDおよびASGDを上回り、より優れた一般化性能と解の品質を示した。
• フルランクSBMは、デフォルトで$η_0 = 1/t$を採用しているため、ハイパーパrameterチューニング（例：ステップサイズ）が不要であり、チューニング済みのSGDバージョンをも上回った。
• 確率的であるにもかかわらず、SBMは単調収束を示した。これは、SGDおよびASGDで見られるノイズの揺らぎとは対照的である。
• 低ランク近似により、データ次元に対して線形計算複雑性（$Ó(d)$）を維持し、Text（$d=23922$）のような高次元問題へのスケーラビリティを実現した。