[論文レビュー] Fast and Simple Optimization for Poisson Likelihood Models

Niao He, Zaïd Harchaoui+2 more|arXiv (Cornell University)|Aug 3, 2016

Stochastic Gradient Optimization Techniques参考文献 26被引用数 10

ひとこと要約

本稿では、罰則付きポアソン尤度モデルのための新規な鞍点定式化を提案し、O(1/t)収束率を達成する高速で一次の最適化を可能にする。これは非滑らか問題における標準的なO(1/√t)よりも顕著に高速である。この手法は再定式化された問題における滑らかさを活用し、確率的ブロック変種を備えた複合ミラー近接法を導入することで、ネットワーク推定や時系列推薦のような応用分野における大規模最適化を効率的に行う。

ABSTRACT

Poisson likelihood models have been prevalently used in imaging, social networks, and time series analysis. We propose fast, simple, theoretically-grounded, and versatile, optimization algorithms for Poisson likelihood modeling. The Poisson log-likelihood is concave but not Lipschitz-continuous. Since almost all gradient-based optimization algorithms rely on Lipschitz-continuity, optimizing Poisson likelihood models with a guarantee of convergence can be challenging, especially for large-scale problems. We present a new perspective allowing to efficiently optimize a wide range of penalized Poisson likelihood objectives. We show that an appropriate saddle point reformulation enjoys a favorable geometry and a smooth structure. Therefore, we can design a new gradient-based optimization algorithm with $O(1/t)$ convergence rate, in contrast to the usual $O(1/\sqrt{t})$ rate of non-smooth minimization alternatives. Furthermore, in order to tackle problems with large samples, we also develop a randomized block-decomposition variant that enjoys the same convergence rate yet more efficient iteration cost. Experimental results on several point process applications including social network estimation and temporal recommendation show that the proposed algorithm and its randomized block variant outperform existing methods both on synthetic and real-world datasets.

研究の動機と目的

• 画像処理、ソーシャルネットワーク、時系列などに広く用いられる罰則付きポアソン尤度モデルにおける、効率的で理論的保証のある最適化アルゴリズムの不足を解消すること。
• ポアソン対数尤度が非リプシッツ連続であるため、標準的な勾配ベースの手法が理論的保証なしでは信頼性に欠けるという課題を克服すること。
• 非滑らか正則化（例：ℓ1、核ノルム）と非リプシッツ尤度を両方取り扱えるスケーラブルな最適化フレームワークを設計すること。
• 大規模問題における反復コストを削減しつつ収束保証を維持するため、ランダム化ブロック分解変種を開発すること。

提案手法

• 非滑らか正則化と非リプシッツ尤度を効果的に扱えるように、罰則付きポアソン尤度問題を鞍点問題に再定式化することで、双対変数空間における有利な幾何構造と滑らかさを活用する。
• エントロピーに基づく距離生成関数を用いた複合ミラー近接法を採用し、非滑らか正則化と非リプシッツ尤度を同時に処理する。
• 勾配情報に基づく指数的重み付けを用いて、プライマル変数（x, X）および双対変数（y）に対するプロキシマル更新を導入する。
• 1人のユーザーのデータを1回ごとに選択するランダム化ブロック変種を設計し、反復コストをO(m)からO(m/n)に削減する（mは総イベント数、nはユーザー数）。
• ポイント過程（例：ハーケス過程）における条件付き強度関数の構造を活用し、パラメータに関して尤度を線形形式で表現する。
• 再定式化された問題におけるプライマル・双対写像のリプシッツ定数をバウンディングすることで理論的収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 非リプシッツポアソン尤度モデルに非滑らか正則化を適用する一次最適化法が、O(1/t)収束率を達成できるか？
• RQ2 ポアソン尤度問題の鞍点定式化が、勾配ベース手法に適した滑らかで良好な構造を持つ最適化問題に変換できるか？
• RQ3 ランダム化ブロック更新を用いることで、大規模ポアソン尤度最適化の計算コストを削減できるか、かつ収束速度を損なわないか？
• RQ4 実世界のポイント過程データにおいて、提案手法は既存手法と比較して収束速度と精度の両面で優れているか？
• RQ5 ネットワーク推定や時系列推薦のような高次元問題において、提案手法はロバストでスケーラブルか？

主な発見

• 提案された複合ミラー近接法は、プライマル・双対ギャップに対してO(1/t)収束率を達成し、非滑らか問題における標準的なO(1/√t)よりも顕著に高速である。
• ランダム化ブロック変種はO(1/t)収束率を維持しつつ、反復コストをO(m)からO(m/n)に削減し、大規模最適化を効率的に行える。
• 合成データおよび実世界データの両方で、ネットワーク推定および時系列推薦タスクにおいて、既存手法と比較して収束速度と解の精度の両面で優れた性能を示した。
• 鞍点定式化により、非リプシッツポアソン尤度が滑らかで幾何構造が良好な問題に効果的に変換され、効率的最適化が可能になった。
• 実験結果から、本手法が高次元設定に対してロバストであり、ℓ1および核ノルムペナルティによってスパarsityと低ランク構造を効果的に促進することが確認された。
• 時系列推薦およびソーシャルネットワーク推定タスクにおいて、本手法は最先端の性能を達成し、実用的なスケーラビリティと精度を示した。