[論文レビュー] Direct Learning of Sparse Changes in Markov Networks by Density Ratio Estimation

Song Liu, John A. Quinn+3 more|arXiv (Cornell University)|Apr 25, 2013

Statistical Methods and Inference参考文献 18被引用数 4

ひとこと要約

本稿では、2つのデータ分布間の密度比を推定することで、計算コストの高い別々のモデルフィッティングを回避し、マーコフネットワークにおけるスパースな構造的変化を直接学習する手法を提案する。スパース性を促進する正則化を用いた密度比推定として問題を定式化することで、正規化定数の計算を回避し、双対最適化によりスケーラビリティを向上させ、構造的変化を効率的に同定する。

ABSTRACT

We propose a new method for detecting changes in Markov network structure between two sets of samples. Instead of naively fitting two Markov network models separately to the two data sets and figuring out their difference, we \emph{directly} learn the network structure change by estimating the ratio of Markov network models. This density-ratio formulation naturally allows us to introduce sparsity in the network structure change, which highly contributes to enhancing interpretability. Furthermore, computation of the normalization term, which is a critical bottleneck of the naive approach, can be remarkably mitigated. We also give the dual formulation of the optimization problem, which further reduces the computation cost for large-scale Markov networks. Through experiments, we demonstrate the usefulness of our method.

研究の動機と目的

• 別々のモデル化による2つのネットワークの推定が必要となる従来の間接的構造的変化検出法の限界を解消すること。
• 2つの完全なマーコフネットワークモデルのフィッティングを回避することで、直接的に構造的変化を学習し、計算コストを低減するとともに解釈可能性を向上させること。
• データ分布間の意味のあるスパースな構造的差異に焦点を当て、変化検出プロセスにスパarsityを組み込むこと。
• マーコフネットワークの最尤推定における主要なボトル neck である正規化定数の計算を排除すること。
• 双対定式化を用いたスケーラブルな最適化フレームワークの開発により、大規模マーコフネットワークへの応用を可能にすること。

提案手法

• 2つのデータ分布間の密度比推定問題として構造的変化検出を定式化し、別々のマーコフネットワークのフィッティングを回避する。
• 密度比を表すために、対のマーコフネットワークモデルを用い、対数線形の指数型分布族の形を採用する。
• ネットワークパラメータの差に ℓ1 正則化を適用することで、構造的変化におけるスパarsity を強制する。
• 最適化の次元を低減し、計算を分離する双対最適化問題を導出する。
• 非微分可能な ℓ1 正則化付き双対問題を解くために、ラグランジュ緩和と部分勾配法を用いる。
• 正規化定数が重要サンプリングや解析的表現を用いて近似可能であることに着目し、直接的な計算を回避する。

実験結果

リサーチクエスチョン

• RQ1 2つの完全なモデルを別々にフィッティングせずに、マーコフネットワークにおける構造的変化を直接学習できるか？
• RQ2 密度比推定が正規化定数の計算を回避しつつ、スパースな構造的変化を効果的に捉えることができるか？
• RQ3 提案手法が、精度、スパarsity、計算効率の観点で、従来の2段階的手法を上回るか？
• RQ4 双対定式化が大規模マーコフネットワークにおける計算コストを顕著に低減できるか？
• RQ5 従来の最尤推定に基づく手法が失敗する非ガウス分布や非パラメトリックな分布において、本手法はどのように性能を発揮するか？

主な発見

• 提案手法は、2つの別々のマーコフネットワークのフィッティングを伴わずに、直接的にスパースな構造的変化をデータから学習でき、解釈可能性が向上した。
• 正規化定数の明示的計算を回避することで、最尤推定法と比較して顕著な計算コスト削減を達成した。
• 双対定式化により最適化の次元が低減され、大規模な問題の効率的解法が可能になった。
• 合成データおよび実世界データにおいて、既存のファージド・ラッソ手法と同等またはそれ以上の性能を達成し、特に変化がスパースで、個々のネットワークが密な場合に顕著に優れた性能を示した。
• 実験結果から、本手法が非ガウス的・非パラメトリックな分布に対しても頑健であることが示され、ガウス分布に基づく手法の制限を超えた応用が可能であることが明らかになった。
• 密度比推定の使用により、複雑または高次元な分布であっても、構造的変化の一貫した推定が可能であることが示された。