[論文レビュー] Kullback-Leibler Divergence for the Normal-Gamma Distribution

Joram Soch, Carsten Allefeld|arXiv (Cornell University)|Nov 4, 2016

Image and Signal Denoising Methods参考文献 3被引用数 21

ひとこと要約

本稿では、正規-ガンマ分布のカルバック・ライブラー（KL）発散を導出し、それが共役事前分布を用いた単変量一般線形モデルにおけるベイズ的複雑度ペナルティに等しいことを示している。この手法により、精度と複雑度のバランスを取ったモデル選択が可能となり、シミュレートデータおよびfMRIデータにおいて、精度のみを基準とする手法を上回る性能を示した。特に、精度が低いにもかかわらず、パラメトリックモデルがファクターリング設計よりも優れたモデル証拠を示した。

ABSTRACT

We derive the Kullback-Leibler divergence for the normal-gamma distribution and show that it is identical to the Bayesian complexity penalty for the univariate general linear model with conjugate priors. Based on this finding, we provide two applications of the KL divergence, one in simulated and one in empirical data.

研究の動機と目的

• 正規およびガンマ分布に従う変数の組み合わせである正規-ガンマ分布のカルバック・ライブラー（KL）発散を導出すること。
• このKL発散が、共役事前分布を用いた単変量一般線形モデルにおけるベイズ的複雑度ペナルティに一致することを確立すること。
• シミュレートおよび実験的神経画像データにおけるモデルの精度と複雑度を比較することで、KL発散がモデル選択にどのように有用であるかを示すこと。
• 精度と複雑度の両方を組み込んだ対数モデル証拠に基づくモデル選択が、精度のみに依存する手法では特定できない差を検出できることを示すこと。

提案手法

• xをyで条件づけた多変量正規分布のKL発散と、yの単変量ガンマ分布のKL発散に分解することで、2つの正規-ガンマ分布間のKL発散を導出する。両者を事前分布上での期待値として統合する。
• 多変量正規分布および単変量ガンマ分布の既知の閉形式表現を用い、精度パラメータyがガンマ分布に従う場合の期待値を計算する。
• 導出されたKL発散をベイズ的モデル証拠における複雑度ペナルティとして適用し、対数モデル証拠（LME）を用いたモデル比較を可能にする。
• fMRIセッション間での交差検証を実施し、2つの競合モデル（要因的GLM（GLM I）とパラメトリックモデル（GLM II））の交差検証済み対数モデル証拠（cvLME）、精度、複雑度を算出する。
• 対応したt検定を用いて、GLM IIがGLM Iよりも顕著に高いcvLMEを示すボクセルを同定し、精度が低いにもかかわらず複雑度に起因するモデルの優位性を特定する。
• 局所化マスクを用いた視覚的方向性対比fMRI実験のデータを分析し、被験者全体にわたるピークボクセルにおけるモデル証拠、精度、複雑度を抽出する。

実験結果

リサーチクエスチョン

• RQ1 正規-ガンマ分布のKL発散は、共役事前分布を用いた単変量一般線形モデルにおけるベイズ的複雑度ペナルティに一致するか？
• RQ2 KL発散に基づく複雑度ペナルティは、AIC や BIC といった精度に基づく基準を上回るモデル選択を可能にするか？
• RQ3 神経画像データにおいて、精度が同等または低い場合でも、パラメトリックモデル（GLM II）が要因的モデル（GLM I）よりも対数モデル証拠で優れているか？
• RQ4 事前分布と事後分布間のKL発散として定量化されたモデル複雑度は、精度のみでは明らかでないモデルの差を検出できるか？

主な発見

• 正規-ガンマ分布のKL発散は、yで条件づけた多変量正規分布のKL発散（期待値をyに関してとる）と、単変量ガンマ分布のKL発散の和として解析的に導出された。
• 導出されたKL発散は、共役事前分布を用いた単変量一般線形モデルにおけるベイズ的複雑度ペナルティと一致し、モデル証拠における理論的役割が裏付けられた。
• シミュレートデータにおいて、KL発散はモデル間の相対的情報量を的確に定量化でき、モデル比較への応用が有効であることを示した。
• 実験的fMRIデータにおいて、GLM IIは精度が低い（ΔAcc = -1.78）にもかかわらず、交差検証済み対数モデル証拠がより高かった（ΔL = 4.24）ことから、複雑度の優位性が示された。
• 事前分布と事後分布間のKL発散として測定されたモデル複雑度は、GLM Iに対して一貫して高い値（ΔCom = -6.02）を示し、GLM IIの優れた性能がより良い複雑度制御に起因することを示した。
• 本研究の結果は、精度と複雑度の両方を組み込んだ対数モデル証拠に基づくモデル選択が、精度のみに依存する手法では検出できない有意義なモデル差を特定できることを示している。