[論文レビュー] Hardness of parameter estimation in graphical models

Guy Bresler, David Gamarnik+1 more|arXiv (Cornell University)|Sep 12, 2014

Machine Learning and Algorithms参考文献 17被引用数 5

ひとこと要約

本稿では、2項グラフィカルモデル、特にハードコアモデルにおける平均パラメータから正準パラメータを学習することは、近似的でさえも計算的に困難であることを確立している。著者らは多項式時間還元を用いて、μ ↦ θ の逆写像の近似がNP困難であることを証明しており、これはマージナル多面体境界の新たな反発的性質に依拠しており、多面体の構造を明示的に知らずに制約なしの投影勾配最適化を可能にする。

ABSTRACT

We consider the problem of learning the canonical parameters specifying an undirected graphical model (Markov random field) from the mean parameters. For graphical models representing a minimal exponential family, the canonical parameters are uniquely determined by the mean parameters, so the problem is feasible in principle. The goal of this paper is to investigate the computational feasibility of this statistical task. Our main result shows that parameter estimation is in general intractable: no algorithm can learn the canonical parameters of a generic pair-wise binary graphical model from the mean parameters in time bounded by a polynomial in the number of variables (unless RP = NP). Indeed, such a result has been believed to be true (see the monograph by Wainwright and Jordan (2008)) but no proof was known. Our proof gives a polynomial time reduction from approximating the partition function of the hard-core model, known to be hard, to learning approximate parameters. Our reduction entails showing that the marginal polytope boundary has an inherent repulsive property, which validates an optimization procedure over the polytope that does not use any knowledge of its structure (as required by the ellipsoid method and others).

研究の動機と目的

• 無向グラフィカルモデルにおけるパrameter推定の計算的妥当性を調査すること、特に平均パラメータから正準パラメータへの逆写像を対象とする。
• 一意なパラメータ化があるにもかかわらず、最尤推定が統計的に可能であるとしても、それが計算的に容易であるかどうかを特定すること。
• 長年の未解決問題である、ハードコアモデルにおけるパrameter推定が、広く予想されているが未証明の通りに計算的に困難であるかどうかを解明すること。
• マージナル多面体の内在的幾何的性質を活用して、その構造を明示的に知らずに、制約なしの最適化フレームワークを構築すること。

提案手法

• 著者らは、ハードコアモデルの分配関数の近似（既にNP困難であることが知られている）から、平均パラメータから正準パラメータを近似する問題への多項式時間還元を用いる。
• 対数分配関数の変分的特徴付けを、マージナル多面体上の制約付き凸最適化として用い、目的関数の勾配が逆写像 θ = μ ↦ θ に対応する。
• 投影勾配法を目的関数の最小化に適用し、射影演算子により反復が実行可能集合内に留まるように保証するが、多面体の構造を明示的に知る必要はない。
• 主な技術的革新は、マージナル多面体境界が内在的な反発的性質を有することの証明であり、これは反復が境界に近づくのを防ぎ、制約の明示的強制なしに最適化を可能にする。
• レムマを確立し、平均パラメータ値 μ_i と ε-近傍に基づいて正準パラメータ θ_i の大きさを評価し、勾配の安定性と収束性を保証する。
• 証明の根拠は、活性制約（違反に近いもの）が反復を境界に引き寄せるわけではないことの示唆であり、反復全体で実行可能領域の維持が保証される。

実験結果

リサーチクエスチョン

• RQ1 平均パラメータが与えられたとき、正準パラメータが一意に定まるにもかかわらず、2項バイナリグラフィカルモデルにおけるパrameter推定は計算的に容易か？
• RQ2 逆写像 μ ↦ θ は多項式時間内に近似可能か、それともNP困難か？
• RQ3 マージナル多面体の幾何的構造は、その面を明示的に知らずに、制約なしの最適化を可能にするか？
• RQ4 分配関数の近似の難易度をパrameter推定の難易度に還元でき、計算的同等性を確立できるか？
• RQ5 マージナル多面体境界に、勾配ベース最適化を明示的な射影なしに可能にする構造的性質が存在するか？

主な発見

• ハードコアモデルにおけるパrameter推定は、任意の定数要因内で近似可能でない、NP困難である。
• 分配関数の近似からパrameter推定への還元は多項式時間であり、両問題の計算的同等性を確立する。
• マージナル多面体境界は反発的性質を有しており、投影勾配降下法の反復中、境界に近づくのを防ぎ、制約なしの最適化を可能にする。
• 正準パラメータ θ_i は、μ_i が多面体境界に近い場合に大きさが制限され、μ_i + ε が実行可能であれば θ_i ≤ p/ε であり、μ_i ≥ qε であれば θ_i ≥ -p/(qε) である。
• 反発的境界効果のおかげで、多面体構造を明示的に知らずに、投影勾配法は実行可能かつ収束性を保つ。
• 本結果は、統計モデルが適切に定義されていても、パrameter推定が計算的に困難であることを確認し、長年の未解決問題を解決する。