[論文レビュー] Extending Owen's integral table and a new multivariate Bernoulli distribution

Marcelo Hartmann|arXiv (Cornell University)|Apr 16, 2017

Statistical Distribution Estimation and Applications参考文献 3被引用数 3

ひとこと要約

この論文は、標準正規CDFの積と正規密度を含む新しい多次元ガウス積分恒等式を導出し、多次元ベルヌーイ分布の閉形式計算を可能にする。主な貢献は、成功確率が潜在ガウス変数によって決定される新規の多次元ベルヌーイモデルであり、周辺尤度が構造化された共分散行列をもつ多次元正規CDFとして表現可能である。

ABSTRACT

We extend some equatilites in the Owen's table of normal integrals (A table of normal integrals in Communication in Statistics-Simulation and Computation, 1980). Furthermore a new probabilistic model for a vector of binary random variables is proposed.

研究の動機と目的

• 標準正規CDFを含む多次元ガウス積分の新しい閉形式解を導出することで、オーウェンの積分表を拡張すること。
• 各二値出力が標準正規CDFを介して潜在ガウス変数に関連づけられる、新しい多次元ベルヌーイ分布の構築。
• ガウス過程モデルやプロビット回帰などの応用分野で、従来は数値台形則を要していた積分に対する解析的解法の提供。
• 離散的潜在変数モデルの周辺尤度と多次元正規CDFとの間の関係の確立。

提案手法

• N個の標準正規CDFの積に正規密度を乗じた積分の一般恒等式を導出し、それが特定の共分散行列をもつ多次元正規CDFに等しいことを示す。
• 補助変数を用いた変数変換により、同時密度を再表現し、多次元正規構造の特定を可能にする。
• 分割行列の逆行列および行列式の補題を適用して、導出された多次元正規分布の共分散行列を導出する。
• 各二値出力が潜在ガウス変数を介して標準正規CDFによって決定される、新規の多次元ベルヌーイモデルを導入する。
• ヤコビアン補正を用いて潜在変数と二値出力の同時分布を変換し、周辺分布を多次元正規CDFとして表現する。
• 二値ベクトルの周辺確率が、平均 −I_y μ および共分散 I_N + I_y Σ I_y をもつ多次元正規CDFであることを確立する。

実験結果

リサーチクエスチョン

• RQ1 オーウェンの積分表は、標準正規CDFの積と正規密度を含む多次元積分を含めるように拡張可能か？
• RQ2 積分 ∫ℝ ∏_{r=1}^N Φ((x−m_r)/v_r) N(x|μ,σ²) dx の解析的形は何か？
• RQ3 潜在ガウス変数をもつ階層的ガウス＝ベルヌーイモデルから、新しい多次元ベルヌーイ分布を導出可能か？
• RQ4 各成分が f_r がガウス分布に従うとき Φ(f_r) を成功確率とする条件付き独立ベルヌーイ分布に従う多次元二値ベクトルの周辺分布は何か？
• RQ5 導出された周辺尤度は、構造化された共分散行列をもつ多次元正規CDFとしてどのように表現可能か？

主な発見

• 積分 ∫ℝ ∏_{r=1}^N Φ((x−m_r)/v_r) N(x|μ,σ²) dx は、F_N(μ 1_N | m_N, V_N) に等しい。ここで V_N の対角成分は v_r² + σ²、非対角成分は σ² である。
• Y_r | f_r ~ Bernoulli(Φ(f_r)) かつ f ~ N(μ, Σ) である多次元二値ベクトル Y の周辺分布は、π_Y(y) = F_N(0 | -I_y μ, I_N + I_y Σ I_y) に等しい。
• N=2、μ = [0,0]^T、σ₁²=σ₂²→0、σ₁₂=1/2 の場合、確率は π(1,1)=π(-1,-1)=1/3 および π(1,-1)=π(-1,1)=1/6 となり、既知の2次元正規四象限確率と整合的である。
• 従来は数値台形則で計算されていた積分に対して、本手法は閉形式解を提供し、ベイズモデルにおける計算効率を向上させる。
• 導出された多次元ベルヌーイ分布は、任意の N および潜在ガウス変数の任意の平均・共分散構造に対して有効である。
• z = I_y f を用いた変換とヤコビアン補正により、周辺分布が平均 −I_y μ および共分散 I_N + I_y Σ I_y をもつ多次元正規CDFであることが確認された。