[論文レビュー] An Efficient Bayesian Robust Principal Component Regression

Philippe Gagnon, Mylène Bédard+1 more|arXiv (Cornell University)|Nov 16, 2017

Advanced Statistical Methods and Models被引用数 1

ひとこと要約

本稿では、高次元データにおける外れ値に対処するため、モデル選択、モデル平均化、および可逆遷移MCMCを組み合わせたベイジアンロバスト主成分回帰手法を提案する。極端な観測値の影響を軽減することでロバストな推論を実現し、事後モデル確率に基づいて関連する主成分を平均化することで予測精度を向上させる。

ABSTRACT

Principal component regression is a linear regression model with principal components as regressors. This type of modelling is particularly useful for prediction in settings with high-dimensional covariates. Surprisingly, the existing literature treating of Bayesian approaches is relatively sparse. In this paper, we aim at filling some gaps through the following practical contribution: we introduce a Bayesian approach with detailed guidelines for a straightforward implementation. The approach features two characteristics that we believe are important. First, it effectively involves the relevant principal components in the prediction process. This is achieved in two steps. The first one is model selection; the second one is to average out the predictions obtained from the selected models according to model averaging mechanisms, allowing to account for model uncertainty. The model posterior probabilities are required for model selection and model averaging. For this purpose, we include a procedure leading to an efficient reversible jump algorithm. The second characteristic of our approach is whole robustness, meaning that the impact of outliers on inference gradually vanishes as they approach plus or minus infinity. The conclusions obtained are consequently consistent with the majority of observations (the bulk of the data).

研究の動機と目的

• 高次元データにおける主成分回帰の分野におけるベイジアン手法の不足を解消すること。
• モデルの不確実性を軽減するために、関連する主成分の選択と平均化を効果的に行う手法を開発すること。
• 極端な外れ値の影響を最小限に抑えることで、推論のロバスト性を確保すること。
• 提案されたベイジアンフレームワークの実用的かつ実装可能なガイドラインを提供すること。

提案手法

• 予測に最も関連する主成分を特定するために、事後モデル確率に基づくモデル選択を用いる。
• モデルの不確実性を反映させるために、事後確率で重み付けされたモデル平均化を実施する。
• モデル空間の効率的探索と事後モデル確率の計算のため、可逆遷移マルコフ連鎖モンテカルロ（RJMCMC）アルゴリズムを採用する。
• 外れ値の影響が無限大に近づくにつれて漸近的に消失するように設計することで、完全なロバスト性を確保する。
• 主成分分析とベイジアン線形回帰を統合し、重い尾を持つ誤差を扱えるロバストな尤度関数を用いる。
• 明確な計算ガイドラインを備えた、容易な実装を想定した手法である。

実験結果

リサーチクエスチョン

• RQ1 高次元設定下で、ベイジアン主成分回帰を外れ値に対してロバストにすることは可能か？
• RQ2 モデルの不確実性下で、主成分モデルの選択と平均化の最も効果的な方法は何か？
• RQ3 高次元モデル空間において、事後モデル確率を効率的に計算する方法は何か？
• RQ4 提案手法は、推論における極端な観測値の影響をどの程度軽減するか？

主な発見

• 提案手法は外れ値の推論への影響を効果的に低減し、データの大部分と整合性のある結果を保証する。
• 事後確率に基づくモデル平均化により、モデルの不確実性を考慮した予測精度が向上する。
• 可逆遷移MCMCアルゴリズムにより、高次元モデル空間の効率的探索が可能になる。
• 完全なロバスト性を達成しており、外れ値が無限大に近づくにつれてその影響が漸近的に消失する。
• 明確な計算ガイドラインを備えた、実用的で実装可能なベイジアン主成分回帰フレームワークを提供する。