[論文レビュー] Support Consistency of Direct Sparse-Change Learning in Markov Networks

Song Liu, Taiji Suzuki+4 more|Bristol Research (University of Bristol)|Jul 2, 2014

Statistical Methods and Inference参考文献 37被引用数 5

ひとこと要約

本稿は、密度比推定を用いたマーケフ確率的ネットワークにおける直接的スパース変化学習の理論的裏付けを確立する。密度比にややいなめらかな正則性条件が課されれば、個々のモデルがスパースでない場合でも、真のスパース変化が、$ n_p = \Omega(d^2 \log \frac{m^2 + m}{2}) $ および $ n_q = \Omega(n_p^2) $ の標本サイズのもとで一貫して同定可能であることを証明する。

ABSTRACT

We study the problem of learning sparse structure changes between two Markov networks $P$ and $Q$. Rather than fitting two Markov networks separately to two sets of data and figuring out their differences, a recent work proposed to learn changes \emph{directly} via estimating the ratio between two Markov network models. In this paper, we give sufficient conditions for \emph{successful change detection} with respect to the sample size $n_p, n_q$, the dimension of data $m$, and the number of changed edges $d$. When using an unbounded density ratio model we prove that the true sparse changes can be consistently identified for $n_p = Ω(d^2 \log \frac{m^2+m}{2})$ and $n_q = Ω({n_p^2})$, with an exponentially decaying upper-bound on learning error. Such sample complexity can be improved to $\min(n_p, n_q) = Ω(d^2 \log \frac{m^2+m}{2})$ when the boundedness of the density ratio model is assumed. Our theoretical guarantee can be applied to a wide range of discrete/continuous Markov networks.

研究の動機と目的

• 2つのマーケフ確率的ネットワーク間のスパース構造的変化が、どのような理論的条件下で一貫して同定可能かを確立すること。
• 個々のマーケフネットワークを別々に推定することなく、直接的変化検出におけるサポート一貫性に必要な標本複雑性を分析すること。
• lasso型推定器からのスパースパラメータ推定理論を、マーケフネットワークにおける密度比モデルへと拡張すること。
• 離散的および連続的マーケフネットワーク、非ガウス分布を含む、両者に対して有効な理論的保証を提供すること。
• ハブ構造を有するネットワークであっても、従来の2段階的手法とは異なり、一貫した変化検出が可能であることを示すこと。

提案手法

• 本手法は、KLIEP（Kullback-Leibler Importance Estimation Procedure）フレームワークを用いて、2つのマーケフネットワーク密度の比 $ p(\mathbf{x})/q(\mathbf{x}) $ を直接推定する。
• 密度比モデルのパラメータに $ \ell_1 $-正則化を適用することで、変化構造のスパarsityを強制する。
• 理論的分析は、密度比に関する非一貫性条件および滑らかさ仮定に依存し、推定されたサポートが真のサポートに収束することを保証する。
• 正規化定数の計算を回避するために標本平均を用いることで、非ガウスモデルへの適用が可能になる。
• 高次元設定下での $ \ell_1 $-正則化推定器の性質と集中不等式を用いて、理論的バウンドを導出する。
• 非有界および有界密度比モデルの両方を考察し、有界性の仮定のもとで、より良好な標本複雑性が得られることを示す。

実験結果

リサーチクエスチョン

• RQ1 直接的密度比推定を用いた場合、2つのマーケフネットワーク間の真のスパース変化が、どのような条件下で一貫して回復可能か。
• RQ2 必要な標本サイズが、変化エッジ数 $ d $、次元 $ m $、および個々の標本サイズ $ n_p, n_q $ に対してどのようにスケーリングされるか。
• RQ3 個々のマーケフネットワークがスパースではなくても、構造的変化がスパースであれば、サポート一貫性が達成可能か。
• RQ4 密度比の有界性が、一貫した変化検出に必要な標本複雑性に与える影響は何か。
• RQ5 2段階的手法やfused-lasso法と比較して、提案手法の理論的性能は、標本効率性およびモデル仮定の観点からどのように異なるか。

主な発見

• 真のスパース変化は、$ n_p = \Omega(d^2 \log \frac{m^2 + m}{2}) $ および $ n_q = \Omega(n_p^2) $ の標本サイズのもとで一貫して同定可能であり、学習誤差に対して指数関数的に減少する上界が得られる。
• 密度比が有界であるという仮定のもとで、標本複雑性は $ \min(n_p, n_q) = \Omega(d^2 \log \frac{m^2 + m}{2}) $ に改善され、より効率的になる。
• 理論的保証は、個々のマーケフネットワークのスパarsityに依存せず、元のモデルにハブ構造が存在しても成立する。
• 推定された変化構造の真の構造への収束速度は、個々のモデルのスパarsityに依存せず、変化エッジ数 $ d $ のみに依存する。
• ガウス性を仮定せず、かつ容易に計算可能な尤度を必要としないため、非ガウス的・高次元的状況にも適用可能である。
• 本分析により、個々のモデルがスパースでないが変化がスパースな状況において、2段階手法を上回る性能を示す直接的変化検出の理論的基盤が提供される。