[論文レビュー] Bayesian Nonparametric Covariance Regression

Emily B. Fox, David B. Dunson|arXiv (Cornell University)|Jan 11, 2011

Statistical Methods and Bayesian Inference参考文献 20被引用数 12

ひとこと要約

本稿では、予測子に依存する共分散行列をスパースな未知の辞書関数（例：ガウス過程）の組み合わせによってモデル化するベイジアン非パラメトリック枠組みを提案する。この手法は、予測子に依存する負荷行列を備えた要因モデルを通じて柔軟で計算的に取り扱いやすい事前分布を導出し、共役事後更新と欠損データのロバストな処理を可能にする。理論的裏付けとシミュレーションおよび実世界のインフルエンザ流行トレンドデータにおける実証的検証がなされている。

ABSTRACT

Although there is a rich literature on methods for allowing the variance in a univariate regression model to vary with predictors, time and other factors, relatively little has been done in the multivariate case. Our focus is on developing a class of nonparametric covariance regression models, which allow an unknown p x p covariance matrix to change flexibly with predictors. The proposed modeling framework induces a prior on a collection of covariance matrices indexed by predictors through priors for predictor-dependent loadings matrices in a factor model. In particular, the predictor-dependent loadings are characterized as a sparse combination of a collection of unknown dictionary functions (e.g, Gaussian process random functions). The induced covariance is then a regularized quadratic function of these dictionary elements. Our proposed framework leads to a highly-flexible, but computationally tractable formulation with simple conjugate posterior updates that can readily handle missing data. Theoretical properties are discussed and the methods are illustrated through simulations studies and an application to the Google Flu Trends data.

研究の動機と目的

• 予測子に応じて変化する多変量共分散行列を柔軟にモデル化できる非パラメトリック手法の不足を補うこと。
• パラメトリック仮定を避け、欠損データを処理できる計算効率が高くスケーラブルなアプローチを開発すること。
• 辞書ベースの負荷行列を用いた要因モデルにより、応答変数の順列変換に対して不変で解釈可能なモデルを実現すること。
• 確率的過程を用いて共分散構造における複雑で非線形な依存関係をモデル化できること。
• 高次元設定における共分散回帰に対して理論的裏付けがあり、共役計算が可能な枠組みを提供すること。

提案手法

• 共分散行列 Σ(x) を、未知の辞書関数のスパースな組み合わせから導出される予測子依存の負荷行列の正則化された2次関数としてモデル化する。
• 辞書関数はガウス過程としてモデル化され、負荷行列の予測子に応じた変動を柔軟で非パラメトリックに表現可能となる。
• 負荷行列は、辞書要素（基底関数）の線形結合として表現され、階層的事前分布によってスパarsityが誘導される。
• 要因モデル構造を用いる：y = Θξ(x)η + ε、ここでξ(x)は辞書関数、ηは確率的係数である。
• ガウス過程事前分布からの予測分布を用い、辞書要素を条件付きにすることで、共役事後更新が導出される。
• ギブスサンプリングスキームにおける条件付き予測分布を通じて、欠損データが自然に処理される。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックベイジアン枠組みは、計算的に効率が良く、予測子に応じて変化する多変量共分散行列を柔軟にモデル化できるか？
• RQ2 予測子でインデックス付けられた共分散行列の集合に、柔軟性と計算的取り扱いやすさを両立させる事前分布をどのように構築できるか？
• RQ3 提案手法は、複雑で非線形な共分散構造を捉える点で、パラメトリック代替手法をどの程度上回るか？
• RQ4 欠損データおよび高次元設定下での手法の性能はいかがなものか？
• RQ5 誘導される共分散過程の理論的性質、特に定常性と長距離依存性に関してはどのような特徴を示すか？

主な発見

• 提案モデルは、ガウス過程事前分布を用いたスパースで辞書ベースの負荷表現を通じて、柔軟で非パラメトリックな共分散回帰を実現する。
• 共役事後更新が可能であるため、計算効率が高く、中程度から高次元の問題へもスケーラブルである。
• 理論的分析により、誘導される共分散過程が有効な2次モーメント構造を持ち、Σ(x)とΣ(x')の要素間の共分散が明示的な式で表現可能であることが示された。
• シミュレーションでは、パラメトリックモデルが捉えられない複雑で非線形な共分散パターンを、本手法が効果的に捉えていることが確認された。
• グーグルインフルエンザトレンドへの応用では、時変するインフルエンザ関連検索語間の相関を的確に捉え、予測性能が向上した。
• シミュレーション研究におけるデータドロップアウト下でも一貫した事後推論が得られたことから、本フレームワークは欠損データに対してロバストであることが示された。