[論文レビュー] Graphical Models for Non-Negative Data Using Generalized Score Matching

Shiqing Yu, Mathias Drton+1 more|arXiv (Cornell University)|Feb 18, 2018

Advanced Statistical Methods and Models参考文献 21被引用数 3

ひとこと要約

本稿では、非負のデータに対するグラフィカルモデル推定のための一般化スコアマッチングフレームワークを提案する。従来の方法では標準的な $x_j$ の重み付けを、推定効率を向上させるために柔軟な関数 $h(x)$ に置き換えることで、既存手法を改善している。このアプローチにより、理論的保証のもとで、打ち切り正規分布グラフィカルモデルに対する一貫性があり、高次元での推論が可能となり、シミュレーションでも先行手法を上回る性能を示す。

ABSTRACT

A common challenge in estimating parameters of probability density functions is the intractability of the normalizing constant. While in such cases maximum likelihood estimation may be implemented using numerical integration, the approach becomes computationally intensive. In contrast, the score matching method of Hyvärinen (2005) avoids direct calculation of the normalizing constant and yields closed-form estimates for exponential families of continuous distributions over $\mathbb{R}^m$. Hyvärinen (2007) extended the approach to distributions supported on the non-negative orthant $\mathbb{R}_+^m$. In this paper, we give a generalized form of score matching for non-negative data that improves estimation efficiency. We also generalize the regularized score matching method of Lin et al. (2016) for non-negative Gaussian graphical models, with improved theoretical guarantees.

研究の動機と目的

• 非負の指数型分布族における計算不能な正規化定数の問題に対処すること。
• スコアマッチング損失関数の一般化により、非負の象限上でのグラフィカルモデルの推定効率を向上させること。
• 正則化スコアマッチングを高次元の打ち切り正規分布グラフィカルモデルに拡張し、より強い理論的保証を得ること。
• データに適応した重み関数 $h(x)$ の選択を可能にする柔軟なフレームワークを構築すること。

提案手法

• 標準的な $x_j$ の乗数を一般関数 $h(x)$ に置き換える一般化スコアマッチング損失を提案し、非負のデータにおける境界処理を改善する。
• 指数型分布族においてもパラメータに関して二次関数のままである損失関数を導出することで、正規化定数を計算せずに効率的な最適化が可能になる。
• 一般化スコアマッチング損失に $\ell_1$ ペナルティを適用し、逆共分散行列 $\mathbf{K}$ のスパarsityを誘導することで、高次元構造学習を可能にする。
• 平均パラメータと精度パラメータの非中心化パrameterizationを導入し、チューニングパラメータをプロファイルした状態で同時に推定できるようにする。
• 平均パラメータ $\bm{\mu}$ に対してプロファイル推定量を用い、チューニングパラメータの比 $\lambda_{\mathbf{K}} / \lambda_{\bm{\eta}}$ を固定することで、安定性と性能を向上させる。
• 複数の試行におけるAUCを保持する平均化手法を用いてROC曲線を構築し、エッジ回復性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 一般化スコアマッチングフレームワークは、既存手法と比較して非負のグラフィカルモデルにおける推定効率を向上させることができるか？
• RQ2 標準的な $x_j$ の重み付けを柔軟な関数 $h(x)$ に置き換えることで、エッジ回復およびパラメータ推定における有限標本性能が向上するか？
• RQ3 高次元の打ち切り正規分布グラフィカルモデルにおける一般化スコアマッチング推定量の一致性のための理論的標本サイズ要件は何か？
• RQ4 特に $h(x) = \min(x,3)$ を含む $h(x)$ の選択が、有限標本における推定精度と頑健性に与える影響は何か？
• RQ5 平均パラメータに追加のチューニングパラメータを導入したプロファイル推定量は、固定またはペナルティなしの代替手法よりも性能を向上させるか？

主な発見

• 提案された一般化スコアマッチング推定量は、打ち切り正規分布グラフィカルモデルにおいて、逆共分散行列 $\mathbf{K}$ の一貫性推定を達成し、標本サイズ要件が $\Omega(d^2 \log m)$ であることが保証され、既知のGGMのレートと一致する。
• テストされたすべての代替関数 $h(x)$、特に $h(x) = \min(x,3)$ でさえ、Hyvärinen (2007) や Lin et al. (2016) が用いた標準的な $h(x) = x^2$ よりも、シミュレーションおよび理論的両面で優れた性能を示した。
• $n=1000$ および $m=100$ の場合、$\lambda_{\bm{\eta}} = 0$（つまり平均ペナルティなし）のプロファイル推定量は、AUC性能が最も悪かった。これは、平均パラメータのチューニングが結果を著しく改善することを示している。
• 追加のパラメータをチューニングしない場合でも、$h(x) = \min(x,3)$ またはその他の非二次関数を用いた推定量は、エッジ回復においてSPACE や GLASSO と同等またはそれ以上の性能を示した。
• ROC曲線から、$\lambda_{\mathbf{K}} / \lambda_{\bm{\eta}}$ が閾値に達するまで性能が向上し、その後劣化することが示され、バイアスとばらつきのトレードオフが存在することが明らかになった。
• この手法は、正則性条件のもとで、解のパスが区分的線形であり、解が確実に一意であることを保証しており、信頼性の高い高次元推論を可能にする。