[論文レビュー] Sparse and Smooth Prior for Bayesian Linear Regression with Application to ETEX Data

Lukáš Ulrych, Václav Šmídl|arXiv (Cornell University)|Jun 21, 2017

Statistical Methods and Inference参考文献 21被引用数 3

ひとこと要約

本稿では、最小二乗適応事前分散共分散（LS-APC）フレームワークを用いてスパースかつ滑らかさを制御する事前分布を備えた、新しいベイジアン線形回帰モデルを提案する。このモデルにより、スパarsityと滑らかさの間で柔軟かつデータ駆動的なトレードオフが可能となる。実際のETEX大気 tracerデータを用いた検証では、複雑な非区分的定数の放出プロファイルを推定する際、ベイジアンフラッシュラッソ（BFL）を上回り、低感度領域ではより保守的な不確実性境界を提供する。

ABSTRACT

Sparsity of the solution of a linear regression model is a common requirement, and many prior distributions have been designed for this purpose. A combination of the sparsity requirement with smoothness of the solution is also common in application, however, with considerably fewer existing prior models. In this paper, we compare two prior structures, the Bayesian fused lasso (BFL) and least-squares with adaptive prior covariance matrix (LS-APC). Since only variational solution was published for the latter, we derive a Gibbs sampling algorithm for its inference and Bayesian model selection. The method is designed for high dimensional problems, therefore, we discuss numerical issues associated with evaluation of the posterior. In simulation, we show that the LS-APC prior achieves results comparable to that of the Bayesian Fused Lasso for piecewise constant parameter and outperforms the BFL for parameters of more general shapes. Another advantage of the LS-APC priors is revealed in real application to estimation of the release profile of the European Tracer Experiment (ETEX). Specifically, the LS-APC model provides more conservative uncertainty bounds when the regressor matrix is not informative.

研究の動機と目的

• 高次元線形回帰においてスパarsityと滑らかさを同時に強制するベイジアン事前分布モデルの不足を解決すること。
• 従来変分ベイズ法でのみ解けたLS-APCモデルのためのギブスサンプリング推論アルゴリズムを開発すること。
• ETEXデータを用いた実際の気象逆問題モデリングとシミュレーションにおいて、LS-APCとベイジアンフラッシュラッソ（BFL）を比較すること。
• 低感度測定条件下でのLS-APCのロバストネスと不確実性評価の質を評価すること。
• ベイジアン周辺尤度を用いて、異なる測定共分散構造の間でのモデル選択を可能にすること

提案手法

• 回帰係数が精度ハイパーパrameter付きの条件付き正規分布に従う階層的事前分布構造を提案し、スパarsityと滑らかさのトレードオフを制御するための潜在相関パラメータ $ l_i $ を導入する。
• 事前分散を $ \beta_i \sim \mathcal{N}(-l_i \beta_{i+1}, \tau_i^{-1}) $ とモデル化し、$ l_i \sim \mathcal{N}(l_0, \psi_i^{-1}) $ とすることで、滑らかさまたはスパースな解への適応的シャーピングを可能にする。
• 後部推論とベイジアンモデル選択のための完全なギブスサンプリングアルゴリズムを導出する。これにより、正確な不確実性評価が可能となる。
• ギブスサンプリング（GS）と変分ベイズ（VB）近似の両方を用いたLS-APCモデルの精度と不確実性のキャリブレーションを比較する。
• LS-APCモデルをETEX大気 tracer実験に適用し、完全なデータセットと縮小されたデータセットを用いて、情報量の異なる状況下での性能を評価する。
• 異なる測定誤差共分散構造の間でのモデル選択に、周辺尤度（変分下界を介して）を用いる

実験結果

リサーチクエスチョン

• RQ1 LS-APC事前分布は、気象逆問題モデリングにおける非区分的定数の放出プロファイル推定において、ベイジアンフラッシュラッソ（BFL）と比較してどのように性能を発揮するか？
• RQ2 LS-APCモデルに対して、従来の変分ベイズ法よりも優れた不確実性評価を実現するためのギブスサンプリングアルゴリズムを効果的に導出できるか？
• RQ3 データが情報量が少ない低感度時間帯において、LS-APCの不確実性境界はBFLと比較してどのように異なるか？
• RQ4 現実世界の気象放出推定において、LS-APCモデルはBFLと比較してより保守的かつ信頼性の高い不確実性推定を提供するか？
• RQ5 変分ベイズ近似によるLS-APCのモデル選択と周辺尤度推定は、ギブスサンプリングの結果とどの程度整合性を示すか？

主な発見

• ギブスサンプリングを用いたLS-APC（LS-APC-GS）は、ETEXの完全データセットにおいて絶対誤差181.49を達成し、BFLの233.80を下回った。これは、推定精度が優れていることを示している。
• ETEX 66データにおいて、LS-APC-GSは絶対誤差186.52を達成し、BFLの215.98を上回った。特に測定感度が低い領域で顕著な優位性を示した。
• LS-APC-GSは、情報が乏しい時間帯（例：インデックス55以前）において、95％信用区間を著しく広くした。これは、VBやBFLよりもより保守的な不確実性評価を反映している。
• LS-APCの変分ベイズ（VB）近似は、ギブスサンプリング（GS）よりも狭い不確実性境界を提供したが、周辺尤度のVB下界はGSに基づく推定とよく一致した。これにより、モデル選択にVBを用いる妥当性が裏付けられた。
• 滑らかさが存在しない場合（すなわち $ l = 0 $）に、スパース性のみの事前分布を用いたLS-APCは、ETEXで誤差231.19を示した。これは、データが情報量を有する状況で滑らかさが推定精度を向上させることを確認するものである。
• 適応的 $ l_i $ 評価を備えたLS-APCモデルは、実データにおいて複雑な放出形状を的確に捉え、BFLの区分的定数仮定を上回った。