[論文レビュー] An Efficient Pseudo-likelihood Method for Sparse Binary Pairwise Markov Network Estimation

Sinong Geng, Zhaobin Kuang+1 more|arXiv (Cornell University)|Feb 27, 2017

Face and Expression Recognition参考文献 13被引用数 7

ひとこと要約

本稿では、$L_1$-正則化された擬尤度問題をスパースな複数項ロジスティック回帰に再定式化することにより、スパースなバイナリ対マークフ・ネットワークを学習するための効率的な手法PLGを提案する。glmnetフレームワークを用いた座標降下と強力なスクリーニングルールを活用することで、特に非平衡で高次元なデータにおいて、既存の実装よりも顕著な高速化を達成し、精度を損なわずに行う。

ABSTRACT

The pseudo-likelihood method is one of the most popular algorithms for learning sparse binary pairwise Markov networks. In this paper, we formulate the $L_1$ regularized pseudo-likelihood problem as a sparse multiple logistic regression problem. In this way, many insights and optimization procedures for sparse logistic regression can be applied to the learning of discrete Markov networks. Specifically, we use the coordinate descent algorithm for generalized linear models with convex penalties, combined with strong screening rules, to solve the pseudo-likelihood problem with $L_1$ regularization. Therefore a substantial speedup without losing any accuracy can be achieved. Furthermore, this method is more stable than the node-wise logistic regression approach on unbalanced high-dimensional data when penalized by small regularization parameters. Thorough numerical experiments on simulated data and real world data demonstrate the advantages of the proposed method.

研究の動機と目的

• 高次元かつ非平衡なデータ設定において、特に非効率である既存の擬尤度（PL）実装の問題を解決すること。
• $L_1$-正則化された擬尤度とスパースなロジスティック回帰の構造的同等性を活用し、最適化を高速化すること。
• 小さな正則化パラメータと非平衡データの下で、ノードごとのロジスティック回帰（NLR）が失敗する状況でも、PL推定の数値的安定性を向上させること。
• 実世界およびシミュレートされた設定において、PLおよびNLRを凌駕するスケーラブルで効率的かつ安定した最適化フレームワークをBPMN学習に開発すること。

提案手法

• BPMNの$L_1$-正則化された擬尤度目的関数をスパースな複数項ロジスティック回帰問題に再定式化する。
• Friedmanら（2010年）の凸罰則を用いた座標降下を適用し、得られた最適化問題を効率的に解く。
• 強いスクリーニングルール（Tibshiraniら、2012年）を統合し、不要な変数を早期に除外することで収束を加速する。
• glmnetパッケージを用いて実装することで、一般化線形モデルのための最先端の最適化にアクセスする。
• マークフ・ネットワークの対称的パrameterizationと整合する制約を課すことにより、推定されたネットワーク構造の対称性を保証する。
• 実際の最適な正則化パrameter（$\lambda$）を決定するために、交差検証によるモデル選択を実施する。

実験結果

リサーチクエスチョン

• RQ1 BPMNの$L_1$-正則化された擬尤度問題は、既存のスパースなロジスティック回帰最適化技術を活用することで、効率的に解けるか？
• RQ2 高次元かつ非平衡なデータにおいて、標準的なBMN実装およびノードごとのロジスティック回帰（NLR）と比較して、提案手法PLGの速度と精度はどのように異なるか？
• RQ3 正則化パラメータが小さく、データが極端に非平衡な場合、PLG手法は安定性と効率性を維持できるか？
• RQ4 擬尤度をロジスティック回帰に再定式化することで、上院議員の投票行動分析のような実世界の応用において実用的な利点が得られるか？
• RQ5 強力なスクリーニングルールは、BPMN推定の文脈において収束速度と解のスパarsityにどのような影響を与えるか？

主な発見

• PLGは、標準的なBMN実装の擬尤度に対して、特に高次元データにおいて、桁違いの高速化を達成する。
• 非平衡なデータと小さな正則化パラメータ（$\lambda$）の下で、NLRが不安定かつ遅くなる状況でも、PLGは高い精度を維持し、NLRよりも著しく高速である。
• p=10で非平衡なサンプル（$\theta_{11}=5$）を有するシミュレートデータにおいて、PLGは$\lambda=0.01$でも高速な計算を維持するが、NLRの性能は急激に低下する。
• 実世界の上院議員の投票データ（n=279、p=100）において、PLGとNLRの計算時間はほぼ同等であり、実用的データセットにおけるPLGの効率性を確認する。
• PLGから得られるBPMNは、民主党と共和党に基づくクラスタリングを正しく同定し、リンカーン・チャーフィーとベン・ネルソンのような中立的傾向の上院議員を特定し、州別投票パターンを明らかにする。
• この手法は、耐障害性とスケーラビリティに優れ、実データではPLGとNLRの計算時間がほぼ同一である一方、極端な条件下でもNLRの不安定性を回避する。