[論文レビュー] Sparse Logistic Regression Learns All Discrete Pairwise Graphical Models

Shanshan Wu, Sujay Sanghavi+1 more|arXiv (Cornell University)|Jan 1, 2019

Bayesian Modeling and Causal Inference被引用数 20

ひとこと要約

この論文は、$β$-正則化された最大条件付き対数尤度を用いて、スパースなロジスティック回帰が、イジングモデルや一般のカテゴリカルモデルを含む任意の離散的2次元グラフィカルモデルを、最適な標本複雑度で正確に回復できることを示している。これは、$Âў1_1$ または $Âў1_{2,1}$ の制約を伴う凸計画問題を解くことで達成され、明示的な保証が与えられ、$\tilde{O}(n^2)$ の実行時間を持つ。

ABSTRACT

We characterize the effectiveness of a classical algorithm for recovering the Markov graph of a general discrete pairwise graphical model from i.i.d. samples. The algorithm is (appropriately regularized) maximum conditional log-likelihood, which involves solving a convex program for each node; for Ising models this is $\ell_1$-constrained logistic regression, while for more general alphabets an $\ell_{2,1}$ group-norm constraint needs to be used. We show that this algorithm can recover any arbitrary discrete pairwise graphical model, and also characterize its sample complexity as a function of model width, alphabet size, edge parameter accuracy, and the number of variables. We show that along every one of these axes, it matches or improves on all existing results and algorithms for this problem. Our analysis applies a sharp generalization error bound for logistic regression when the weight vector has an $\ell_1$ (or $\ell_{2,1}$) constraint and the sample vector has an $\ell_{\infty}$ (or $\ell_{2, \infty}$) constraint. We also show that the proposed convex programs can be efficiently solved in $ ilde{O}(n^2)$ running time (where $n$ is the number of variables) under the same statistical guarantees. We provide experimental results to support our analysis.

研究の動機と目的

• スパースなロジスティック回帰の離散的2次元グラフィカルモデルに対する標本複雑度と回復性能を特徴づけること。
• この手法が、多値変数を含む任意の離散的2次元マルコフネットワークを正確に回復できることを確立すること。
• 重みベクトルに対する制限付き $\ell_1$ および $\ell_{2,1}$ 範囲と、特徴量に対する $\ell_\infty$/$\ell_{2,\infty}$ 制約の下での一般化誤差の鋭い境界を提供すること。
• 使用される凸計画問題が、統計的保証を維持したまま $\tilde{O}(n^2)$ 時間で効率的に解けることを示すこと。
• 合成データおよび実データを用いた実験により理論的予測を検証すること。

提案手法

• この手法は、1ノードずつマーカフネットワークの構造を推定するために（正則化付き）最大条件付き対数尤度を用いる。
• 二値変数（イジングモデル）の場合、$\ell_1$-制限付きロジスティック回帰を適用する。多値変数の場合、$\ell_{2,1}$-グループノルム正則化を用いる。
• 分析は、重みに $\ell_1$ または $\ell_{2,1}$ 制限、特徴量に $\ell_\infty$ または $\ell_{2,\infty}$ 制限を課したロジスティック回帰の鋭い一般化誤差境界に依存する。
• アルゴリズムは各ノードを予測タスクとして扱い、他のネットワークの状態を条件付き尤度を用いて回帰する。
• 凸計画問題は、1次元法を用いて効率的に解かれ、同じ統計的保証を維持したまま $\tilde{O}(n^2)$ の実行時間で達成される。
• 理論的分析は、集中不等式とモデルパラメータの構造的仮定を組み合わせ、回復誤差をバインドすることに使われる。

実験結果

リサーチクエスチョン

• RQ1 スパースなロジスティック回帰は、アルファベットサイズやエッジパラメータ値に関係なく、任意の離散的2次元グラフィカルモデルを回復できるか？
• RQ2 この手法を用いてマーカフネットワーク構造を正確に回復するための最適な標本複雑度は何か？
• RQ3 モデルの幅、アルファベットサイズ、エッジの正確さの観点から、この手法の性能は既存のアルゴリズムと比べてどうか？
• RQ4 統計的一致性と回復保証を維持したまま、凸計画問題を効率的に解けるか？
• RQ5 有界な特徴量ノルムの下で、$\ell_1$ および $\ell_{2,1}$ 制約の下でのロジスティック回帰の最もタイトな一般化境界は何か？

主な発見

• 適切な正則化のもとで、この手法は多値変数を含む任意の離散的2次元グラフィカルモデルを正確に回復する。
• 標本複雑度は、モデルの幅、アルファベットサイズ、所望のエッジパラメータの正確さに最適にスケーリングされる。
• すべての検討されたパラメータにおいて、この手法は既存のすべての結果を同等または上回る標本複雑度を達成する。
• 凸計画問題は $\tilde{O}(n^2)$ 時間で解けるため、大規模なネットワークに対してもスケーラブルである。
• 理論的保証は、$\ell_1$ および $\ell_{2,1}$ 制約と $\ell_\infty$ および $\ell_{2,\infty}$ 特徴量制約の下での鋭い一般化境界を用いて導出される。
• 実験的結果は理論的予測を確認しており、高次元設定でも正確な構造回復が可能であることが示された。