[論文レビュー] Extended T-process Regression Models

Zhanfeng Wang, Jian-Qing Shi+1 more|arXiv (Cornell University)|Nov 11, 2015

Advanced Statistical Methods and Models参考文献 20被引用数 3

ひとこと要約

本稿では、入力空間および出力空間における外れ値に対して頑健な最良線形不偏予測（BLUP）を可能にするために、拡張t過程（eTPR）を用いた拡張されたT過程回帰（eTPR）モデルを提案する。このモデルは、標準のBLUPアルゴリズムに対するわずかな修正により、閉形式の予測分布と効率的な計算を維持しながら、ガウス過程回帰（GPR）を重たい尾を持つ誤差構造を有する拡張t過程で拡張することで、外れ値に対して頑健な予測性能を実現する。このモデルは、外れ値の影響を受ける状況下でもGPRやLOESSを上回る予測精度を示す。

ABSTRACT

Gaussian process regression (GPR) model has been widely used to fit data when the regression function is unknown and its nice properties have been well established. In this article, we introduce an extended t-process regression (eTPR) model, which gives a robust best linear unbiased predictor (BLUP). Owing to its succinct construction, it inherits many attractive properties from the GPR model, such as having closed forms of marginal and predictive distributions to give an explicit form for robust BLUP procedures, and easy to cope with large dimensional covariates with an efficient implementation by slightly modifying existing BLUP procedures. Properties of the robust BLUP are studied. Simulation studies and real data applications show that the eTPR model gives a robust fit in the presence of outliers in both input and output spaces and has a good performance in prediction, compared with the GPR and locally weighted scatterplot smoothing (LOESS) methods.

研究の動機と目的

• 入力空間および出力空間に外れ値が存在する状況下でも予測精度を維持する頑健な回帰モデルの開発。
• 閉形式の予測分布と計算効率を保ちつつ、ガウス過程回帰（GPR）を重たい尾を持つ分布へと拡張する。
• 特にスパarselyサンプルされた領域において、極端な観測値を効果的に縮小する、頑健なBLUP手順の提供。
• 既存のBLUPアルゴリズムフレームワークを活用することで、高次元の共変量に対しても計算が実行可能であることを保証する。

提案手法

• eTPRモデルは、潜在関数上の事前分布として拡張t過程（ETP）を用い、ガウス分布のスケール混合を用いて重たい尾を持つ周辺分布を導出する。
• 観測分散は、ガンマ分布に従う精度パラメータによって確率的に重み付けされる階層構造を仮定し、重たい尾を持つ誤差に対して頑健性を実現する。
• 潜在変数を周辺化することで、周辺分布および予測分布の閉形式表現を導出する。これにより解析的取り扱いが可能になる。
• 標準のGPR BLUPアルゴリズムの修正版を用いて頑健なBLUPを計算し、既存の実装へのわずかな調整で実現可能である。
• 選択的縮小を採用：高 leverage または大きな残差を持つ観測値は、事後平均への影響に基づいて低減される。
• 推論手順では、最大周辺尤度を用いて、自由度およびスケールパラメータを含むハイパーパrameterを経験ベイズで推定する。

実験結果

リサーチクエスチョン

• RQ1 t過程に基づく回帰モデルは、入力空間および出力空間における外れ値に対して頑健でありながら、閉形式の予測分布を維持できるか？
• RQ2 eTPRモデルは、外れ値の影響を受ける状況下で、GPRやLOESSと比較して予測性能に優れるか？
• RQ3 eTPRモデルは、疎な入力領域における外れ値の影響を著しく低減する選択的縮小を示すか？一方で、密集した領域のフィットを損なわないか？
• RQ4 eTPRモデルは、標準のGPRと比較して、高次元の共変量に対しても計算効率が維持されるか？
• RQ5 eTPRにおける頑健なBLUP手順は、モデル不適合の下でも情報的一致性があり、漸近的に最適性を満たすか？

主な発見

• eTPRモデルは、拡張t過程の重たい尾の性質を活用することで、入力空間および出力空間における外れ値に対して頑健であり、外れ値が存在する状況下でもGPRやLOESSを上回る予測精度を達成する。
• 周辺分布および予測分布の閉形式表現を提供するため、MCMCや変分推論を必要とせず、効率的な計算が可能である。
• シミュレーション結果から、eTPRは選択的縮小を示し、特にスパースな入力領域における外れ値の影響を顕著に低減する一方で、密集した領域のフィットを保持していることが明らかになった。
• 実データ応用において、eTPRはGPRやLOESSと比較して、より安定的かつ正確な予測を一貫して提供しており、特に重たい尾を持つノイズやレバレッジポイントを含むデータにおいて顕著である。
• eTPRにおける頑健なBLUP手順は情報的一致性を示す：標本サイズが増加するにつれて、モデル不適合下でも予測分布は真の潜在関数に収束する。
• 理論的分析により、eTPRモデルは弱い正則性条件の下で漸近的に最適な予測性能を維持することが確認され、真の予測分布と推定された予測分布の乖離が期待値においてnのオーダーで消失することが示された。