[論文レビュー] Global-Local Mixtures

Anindya Bhadra, Jyotishka Datta+2 more|arXiv (Cornell University)|Apr 26, 2016

Bayesian Methods and Mixture Models参考文献 17被引用数 4

ひとこと要約

本稿は、カウチ＝シュロミルヒトおよびリウヴィルの積分変換を用いて、ラプラス（lasso）、ロジスティック、分位数罰則といったよく知られた分布の閉形式表現を可能にする、グローバル・ローカルスケール混合分布を構築するための新規フレームワークを提示する。主な貢献は、解析的に取り扱えるグローバル・ローカル混合分布を体系的に導出する手法であり、ベイズ正則化および畳み込みモデルへの応用が含まれる。

ABSTRACT

Global-local mixtures are derived from the Cauchy-Schlomilch and Liouville integral transformation identities. We characterize well-known normal-scale mixture distributions including the Laplace or lasso, logit and quantile as well as new global-local mixtures. We also apply our methodology to convolutions that commonly arise in Bayesian inference. Finally, we conclude with a conjecture concerning bridge and uniform correlation mixtures.

研究の動機と目的

• 積分変換恒等式を用いて、グローバル・ローカルスケール混合分布を一般化して構築する手法の開発を目的とする。
• ラプラス、ロジスティック、分位数罰則といった既知の分布を、解析的導出によってグローバル・ローカル混合として特徴付けること。
• ベイズ推論に生じる畳み込みにこのフレームワークを拡張し、後方分布の計算を容易にする。
• ブリッジ分布および一様相関混合分布も、これらの変換恒等式から生じるとの仮説を提示し、より広範な適用可能性を示唆する。
• 特に高次元モデルにおいて、スケール混合の統一的理論的基盤を提供すること。

提案手法

• カウチ＝シュロミルヒト変換：∫₀^∞ f((ax − b/x)²)dx = (1/(2a))∫₀^∞ f(y²)dy を用い、新たなグローバル・ローカル混合を導出する。
• リウヴィル変換：∫₀^∞ f(ax + b/x)x⁻¹/²dx = a⁻¹/²∫₀^∞ f(2(ab)¹/² + y)y⁻¹/²dy を用いてスケール混合を生成する。
• 自己逆関数 s(x) = b/x または s(x) = −a⁻¹log(1 − eᵃˣ) を用いて、変換恒等式を一般化する。
• キンチンチェの定理およびその拡張を用い、一変量および多変量分布から形の単調な密度 2g{t(x)} を生成する。
• レヴィの恒等式およびラプラス変換を用い、Lasso罰則を正規スケール混合として導出する。具体的には ∫₀^∞ e⁻ᶜ⁽ᵗ⁻ᵗ⁻¹⁾² dt = (π/(2c))¹/² e⁻²ᶜ を用いる。
• 安定分布および指数型パワー分布が正規スケール混合表現を有することを確立し、ベイズブリッジ回帰と結びつける。

実験結果

リサーチクエスチョン

• RQ1 カウチ＝シュロミルヒトおよびリウヴィルの恒等式を体系的に用いて、閉形式のグローバル・ローカル混合分布を導出できるか？
• RQ2 これらの積分恒等式を、ラッソやロジスティック罰則といった古典的正則化罰則の表現にどのように応用できるか？
• RQ3 分散が1の2次元正規分布の均一相関混合と最大ノルムとの間の関係は何か？また、これらはこれらの変換から導出可能か？
• RQ4 対称安定分布および指数型パワー分布は、これらの恒等式からグローバル・ローカル混合として生じるか？
• RQ5 このフレームワークを、スケール混合モデルにおける高次モーメントおよび多次元依存構造の生成に拡張可能か？

主な発見

• カウチ＝シュロミルヒト恒等式を用いることで、ラプラス（ラッソ）罰則が ∫₀^∞ e⁻ᶜ⁽ᵗ⁻ᵗ⁻¹⁾² dt = (π/(2c))¹/² e⁻²ᶜ を通じてグローバル・ローカルスケール混合として導出可能であることが示された。
• ラッソ罰則がガンマ混合分布を伴う正規スケール混合として生じることを、恒等式 ∫₀^∞ (a/(2π)¹/² t⁻³/²) e⁻ᵃ²/(²ᵗ) e⁻λᵗ dt = e⁻ᵃ⁽²λ⁾¹/² を用いて実証した。
• ロジスティック分布は、変換フレームワークにロジスティック累積分布関数の逆関数を用いることでグローバル・ローカル混合として導出された。
• 分散が1の2次元正規分布の均一相関混合が、(1/2)(1 − Φ(||x||∞)) に等しいことが示された。ここで Φ は標準正規分布関数を表す。
• エーデルハイラーの積分恒等式 ∫₁/²^∞ e⁻ˣ²ᶻ / (4πz(2z−1)¹/²) dz = (1/2)(1 − Φ(x)) をラプラス変換および変数変換を用いて証明し、均一相関結果と関連づけた。
• 本稿では、対称安定分布および指数型パワー密度がカウチ＝シュロミルヒトの公式から導出可能であると仮説を立て、ベイズブリッジ回帰への影響を示唆している。