[論文レビュー] Generalized Score Matching for Non-Negative Data

Shiqing Yu, Mathias Drton+1 more|PubMed|Dec 26, 2018

Statistical Methods and Inference参考文献 19被引用数 41

ひとこと要約

この論文は、正規化定数が計算困難な指数家族的グラフィカルモデルにおけるパラメータ推定を改善するために、非負データに対するスコアマッチングを一般化し、理論的保証を持つ正則化推定量を開発する。

ABSTRACT

A common challenge in estimating parameters of probability density functions is the intractability of the normalizing constant. While in such cases maximum likelihood estimation may be implemented using numerical integration, the approach becomes computationally intensive. The score matching method of Hyvärinen (2005) avoids direct calculation of the normalizing constant and yields closed-form estimates for exponential families of continuous distributions over <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow><mml:msup><mml:mi>R</mml:mi> <mml:mi>m</mml:mi></mml:msup> </mml:mrow> </mml:math> . Hyvärinen (2007) extended the approach to distributions supported on the non-negative orthant, <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow><mml:msubsup><mml:mi>R</mml:mi> <mml:mo>+</mml:mo> <mml:mi>m</mml:mi></mml:msubsup> </mml:mrow> </mml:math> . In this paper, we give a generalized form of score matching for non-negative data that improves estimation efficiency. As an example, we consider a general class of pairwise interaction models. Addressing an overlooked inexistence problem, we generalize the regularized score matching method of Lin et al. (2016) and improve its theoretical guarantees for non-negative Gaussian graphical models.

研究の動機と目的

• 正規化定数が計算困難な場合の密度推定の課題を動機づける。
• Hyvärinenの非負スコアマッチングを一般化されたh-scoreマッチングフレームワークを導入することにより拡張する。
• 高次元グラフィカルモデルのための正則化された一般化スコアマッチングを開発する。
• R_+^m上のペアワイズ相互作用パワーモデルへの適用と理論的保証の確立。
• シミュレーションとRNA-Seqデータ解析を通じて一貫性と実用的性能を示す。

提案手法

• 正の成分関数h_jを用いた非負データの一般化h-scoreマッチング損失J_hを定義する。
• 緩和な条件の下でJ_hはP_0によって唯一最小化され、p_0に依存しない期待値として書き換えられることを証明する。
• 指数族に対して、経験的損失がカノニカルパラメータθについて二次関数となり、正規化定数を計算せずに閉形式推定を可能にする。
• 対角項の強化を追加して高次元で強凸性を確保することにより、二次形式に正則化を導入する。
• l1ペナルティを備えた正則化推定量を導出し、唯一の最適解を得て、その一貫性を分析する。
• 一変量の切断正規分布などの特別な場合を含め、推定量とその漸近的性質を示す。

実験結果

リサーチクエスチョン

• RQ1 正規化定数が計算困難な場合に効率的に非負データへスコアマッチングを一般化するにはどうすればよいか？
• RQ2 境界減衰関数h_jのどの選択が非負グラフィカルモデルの推定効率を改善するか？
• RQ3 正則化された一般化スコアマッチングは高次元の非負グラフィカルモデルに対して一貫した推定量を与えるか？
• RQ4 R_+^m上のペアワイズ相互作用パワーモデルおよび関連する切断GGMsで一般化スコアマッチングはどう機能するか？
• RQ5 提案された推定量の理論的・経験的性質（一貫性、漸近分布、ロバスト性）は？

主な発見

• 一般化h-scoreマッチング損失は、緩やかな条件下で唯一P_0を最小化する非負の境界減衰目的関数を提供する。
• 指数族において、経験的損失はカノニカルパラメータに対して二次的であり、正規化定数を計算せずに閉形式推定を可能にする。
• 二次形式へ小さな対角成分の増分を加えることにより、高次元で有界かつ強凸な損失をもたらし、閾値以下で一貫性を保つ。
• l1ペナルティを伴う正則化された一般化スコアマッチングは唯一の最小化点を生み出し、非負グラフィカルモデルの高次元推定を支援する。
• 特別なケースは、一変量切断正規分布の一貫した推定を例示し、有界または緩やかに増加するh関数を用いることで推定量の効率が改善されることを示す。
• この方法論は、切断ガウスグラフィカルモデルや平方根モデルを含むR_+^m上の広いクラスのペアワイズ相互作用モデルへ拡張可能で、理論保証と経験的検証がある。