[論文レビュー] Expectation-maximization for logistic regression

James G. Scott, L. Sun|arXiv (Cornell University)|May 31, 2013

Statistical Methods and Inference参考文献 9被引用数 13

ひとこと要約

この論文は、ポリア・ガマム潜在変数表現を用いて効率的な事後分布推論を可能にする、ロジスティック回帰における新しい期待最大化（EM）アルゴリズムを提案する。ロジスティック尤度関数を潜在的なポリア・ガムム変数を通じて正規分布のスケール混合として表現することにより、事後モードへの収束を達成し、変分ベイズとの明確な関連性を確立する。同時に、収束保証付きで、スパarsity誘導型事前分布をサポートする第二階層のオンライン学習が可能となる。

ABSTRACT

We present a family of expectation-maximization (EM) algorithms for binary and negative-binomial logistic regression, drawing a sharp connection with the variational-Bayes algorithm of Jaakkola and Jordan (2000). Indeed, our results allow a version of this variational-Bayes approach to be re-interpreted as a true EM algorithm. We study several interesting features of the algorithm, and of this previously unrecognized connection with variational Bayes. We also generalize the approach to sparsity-promoting priors, and to an online method whose convergence properties are easily established. This latter method compares favorably with stochastic-gradient descent in situations with marked collinearity.

研究の動機と目的

• 収束保証付きの原理的EMアルゴリズムを、二項分布およびネガティブ・バイノミアル回帰に適用する。
• ロジスティック回帰の文脈において、従来認識されていなかったEMと変分ベイズの間の関係を明確化する。
• 収束性を維持しつつ、オンライン学習およびスパarsity促進型事前分布への拡張を実現する。
• 高相関性の高い状況下で、確率的勾配降下法の第二階層の代替手法としての堅牢性を提供する。
• 点推定に劣る意味のある不確実性の定量化を提供する、事後分布の近似を提供する。

提案手法

• ロジスティック尤度関数をポリア・ガムム分布に従う潜在変数を通じて正規分布のスケール混合として表現する潜在変数表現を用いる。
• EMアルゴリズムは、Eステップ（現在のパrameter推定値に基づきポリア・ガムム潜在変数の事後平均を計算）とMステップ（重み付き最小二乗法により回帰係数を更新）の繰り返しで構成される。
• Mステップにおける作業パrameter ωt は、ωt = mt/(2ψt) tanh(ψt/2) として計算され、正規近似の対角精度行列を形成する。
• アルゴリズムは正確なEMフレームワークから導出されており、ポリア・ガムム分布がロジスティック尤度関数の有効なデータ拡張スキームを提供する。
• ポリャック・ラッパーツ平均を用いたオンライン版が開発され、緩い条件下でも収束を保証し、大規模学習の効率的実行を可能にする。
• スパarsityは、ラプラス分布やホースシューベイズ（horseshoe）などの重たい尾を持つ事前分布を用いて組み込み、EMフレームワークと自然に適合させつつ収束性を維持する。

実験結果

リサーチクエスチョン

• RQ1 ポリア・ガムム表現を用いたロジスティック回帰に対して、正確なEMアルゴリズムを構築可能か。また、事後モードへの収束が保証されるか。
• RQ2 提案されたEMアルゴリズムと変分ベイズとの関係は何か。異なる導出過程にもかかわらず、なぜ同一の固定点を生成するのか。
• RQ3 EMフレームワークを収束保証付きで、学習率スケジュールに頑健なオンライン学習に拡張可能か。
• RQ4 限られた計算リソース下で、高相関性の高い状況において、オンラインEMは確率的勾配降下法を上回る性能を示すか。
• RQ5 非凸型のスパarsity誘導型事前分布（例：ホースシューベイズ）を組み込みつつ、収束性と不確実性の定量化を維持できるか。

主な発見

• EMの上昇性と事後分布の対数凸性により、EMアルゴリズムは事後モードに収束する。
• 本手法は、正確に[1]の変分ベイズ的手法と同等の関係性を確立し、異なる導出経路からも同一の作業パrameter ωt が得られることを示した。
• 10万件の観測値と250個の予測変数を有する高相関性のシミュレーションにおいて、同等の計算時間でも、オンラインEMは確率的勾配降下法よりも収束速度と安定性に優れた。
• オンラインEMは、学習率の減少スケジュールに対して頑健であるのに対し、確率的勾配降下法はその選択に極めて敏感であることが知られている。
• 本手法は、非凸型のスパarsity誘導型事前分布（例：ホースシューベイズ）を自然にサポートでき、確率的勾配降下法と組み合わせるのが困難である。
• オンラインEMからの事後分布近似は、点推定よりも意味のある誤差範囲（エラーバー）を提供し、変分ベイズと同等の品質を達成するが、一貫性の保証がある。