[論文レビュー] On the Hyperprior Choice for the Global Shrinkage Parameter in the Horseshoe Prior

Juho Piironen, Aki Vehtari|arXiv (Cornell University)|Oct 18, 2016

Statistical Methods and Inference被引用数 65

ひとこと要約

この論文は、ホースシェーブ・プライアに含まれるグローバル・スリミング・パラメータ τ のハイパーパrior 選択を、有効な非ゼロ係数の数（m_eff）に関する事前信念と結びつける、原理的フレームワークを提案する。デフォルトのハイパーパrior はスパース性を過大評価する傾向があることが示され、代わりに関連する変数の粗い推定値（p₀）に基づいて τ の事前分布を導出することを提案する。これにより、推定精度、予測性能、計算効率が向上する。特に、データが τ を弱く同定する場合に顕著である。

ABSTRACT

The horseshoe prior has proven to be a noteworthy alternative for sparse Bayesian estimation, but as shown in this paper, the results can be sensitive to the prior choice for the global shrinkage hyperparameter. We argue that the previous default choices are dubious due to their tendency to favor solutions with more unshrunk coefficients than we typically expect a priori. This can lead to bad results if this parameter is not strongly identified by data. We derive the relationship between the global parameter and the effective number of nonzeros in the coefficient vector, and show an easy and intuitive way of setting up the prior for the global parameter based on our prior beliefs about the number of nonzero coefficients in the model. The results on real world data show that one can benefit greatly -- in terms of improved parameter estimates, prediction accuracy, and reduced computation time -- from transforming even a crude guess for the number of nonzero coefficients into the prior for the global parameter using our framework.

研究の動機と目的

• ホースシェーブ後方分布推論がグローバル・スリミング・パラメータ τ のハイパーパrior の選択に敏感であることを是正すること。
• デフォルトの τ ハイパーパrior（例：スケール1の半コーシー分布）が、事前期待と比べてより多くの非スリミング係数を持つ解を好む傾向があることを示すこと。
• 係数ベクトルにおける非ゼロ係数の有効数（m_eff）との間の明示的な解析的関係を確立すること。
• 関連変数の数に関する事前信念（p₀）に基づいて、τ の事前分布を構築する実用的で直感的な方法を提供すること。
• 実証的に、p₀ の粗い推定値でさえも、提案されたフレームワークを経由して変換することで、モデル性能と計算速度に顕著な改善が得られることを示すこと。

提案手法

• グローバル・スリミング・パラメータ τ と非ゼロ係数の有効数（m_eff）との間の解析的関係を導出する。m_eff は、ゼロにスリミングされない係数の期待値として定義される。
• 式（16）を用いて、関連変数の数の事前推定値 p₀ からハイパーパrior スケール τ₀ への変換を提案する。この変換により、E[m_eff] ≈ p₀ となるように τ₀ を設定する。
• τ|σ に半コーシー分布または半正規分布を用い、τ₀ を p₀ から導出することで、スパース性に関する事前信念をグローバルスケールに組み込む。
• 実世界の回帰および分類データセットにこのフレームワークを適用し、異なる τ ハイパーパrior における性能を比較する。
• モデル性能の評価に、後方予測チェック、平均二乗誤差（MSE）、および計算時間（ウォールタイム）を用いる。
• 特に τ がデータによって弱く同定される場合に、式（16）を用いて p₀ から τ₀ を計算した半コーシー分布を τ|σ に用いることを推奨する。

実験結果

リサーチクエスチョン

• RQ1 グローバル・スリミング・パラメータ τ のハイパーパrior の選択が、ホースシェーブ・プライアにおける後方推論にどのように影響するか？
• RQ2 係数ベクトルにおける τ と非ゼロ係数の有効数（m_eff）との間の解析的関係は何か？
• RQ3 なぜデフォルトの τ ハイパーパrior（例：スケール1の半コーシー分布）は、スパース性に関する事前信念の観点から問題となるのか？
• RQ4 関連変数の数に関する粗い事前推定値（p₀）を、より情報に基づいた τ パrior に効果的に変換できるか？
• RQ5 提案手法は、LASSO やデフォルトのホースシェーブ・プライアと比較して、予測精度、パrameter 推定、計算効率の観点でどのように異なるか？

主な発見

• デフォルトの τ ハイパーパrior（例：スケール1の半コーシー分布）は、通常の事前期待よりも多くの非スリミング係数を持つ解を好む傾向があり、τ が弱く同定される場合には過学習を引き起こす。
• 提案されたフレームワークは、τ の事前分布と期待される非ゼロ係数の有効数（m_eff）を結びつけることで、p₀ を用いた原理的な τ ハイパーパrior の指定を可能にする。
• p₀ の粗い推定値でさえも、式（16）を経由して τ₀ を設定することで、複数の実世界データセットにおいて予測精度の向上と計算時間の短縮が得られる。
• p₀ が小さい場合には、より重い尾を持つため、半コーシー分布が半正規分布を上回る性能を示すが、p₀ が真値から大きく外れている場合には両者とも失敗する可能性がある。
• 分類問題では、τ ハイパーパrior に σ=2 を用いることで、回帰ケースと同等の結果が得られ、モデル間の一貫性のある適用が可能になる。
• 提案された τ ハイパーパrior を用いたホースシェーブは、LASSO よりも常に高い予測精度とパrameter 推定性能を示すが、計算時間では LASSO が著しく速い。