[논문 리뷰] An Efficient Bayesian Robust Principal Component Regression

Philippe Gagnon, Mylène Bédard외 1명|arXiv (Cornell University)|2017. 11. 16.

Advanced Statistical Methods and Models인용 수 1

한 줄 요약

이 논문은 고차원 데이터에서 이상치가 존재하는 상황을 다루기 위해 모형 선택, 모형 평균화 및 역전이 가능한 마르코프 체인 몬테카를로(RJMCMC)를 결합한 베이지안 강건한 주성분 회귀 방법을 제안한다. 이 방법은 극단적인 관측치의 영향을 줄임으로써 강건한 추론을 보장하고, 사후 모형 확률을 이용해 관련 주성분을 평균화함으로써 예측 정확도를 향상시킨다.

ABSTRACT

Principal component regression is a linear regression model with principal components as regressors. This type of modelling is particularly useful for prediction in settings with high-dimensional covariates. Surprisingly, the existing literature treating of Bayesian approaches is relatively sparse. In this paper, we aim at filling some gaps through the following practical contribution: we introduce a Bayesian approach with detailed guidelines for a straightforward implementation. The approach features two characteristics that we believe are important. First, it effectively involves the relevant principal components in the prediction process. This is achieved in two steps. The first one is model selection; the second one is to average out the predictions obtained from the selected models according to model averaging mechanisms, allowing to account for model uncertainty. The model posterior probabilities are required for model selection and model averaging. For this purpose, we include a procedure leading to an efficient reversible jump algorithm. The second characteristic of our approach is whole robustness, meaning that the impact of outliers on inference gradually vanishes as they approach plus or minus infinity. The conclusions obtained are consequently consistent with the majority of observations (the bulk of the data).

연구 동기 및 목표

• 고차원 데이터에 대한 주성분 회귀에서의 베이지안 접근법이 부족한 문제를 해결하기 위해.
• 모형 불확실성 문제를 줄이기 위해 관련 주성분을 효과적으로 선택하고 평균화할 수 있는 방법을 개발하기 위해.
• 이상치의 영향을 최소화하여 추론의 강건성을 확보하기 위해.
• 제안된 베이지안 프레임워크를 실용적이고 구현 가능한 지침을 제공하기 위해.

제안 방법

• 사후 모형 확률 기반의 모형 선택을 통해 예측에 가장 관련성이 높은 주성분을 식별한다.
• 모형 불확실성을 반영하기 위해 사후 확률에 가중치를 부여한 모형 평균화를 적용한다.
• 모형 공간을 효율적으로 탐색하고 사후 모형 확률을 계산하기 위해 역전이 가능한 마르코프 체인 몬테카를로(RJMCMC) 알고리즘을 활용한다.
• 이상치의 영향이 ±∞ 방향으로 갈수록 渐진적으로 감소하도록 하여 전체적인 강건성을 확보한다.
• 강건한 우도 함수를 사용하여 첨예한 오차를 다루기 위해 주성분 분석과 베이지안 선형 회귀를 통합한다.
• 명확한 계산 지침을 제공하는 바탕으로 간편한 구현을 위한 방법으로 설계되어 있다.

실험 결과

연구 질문

• RQ1 고차원 환경에서 이상치에 강건한 베이지안 주성분 회귀는 어떻게 설계할 수 있는가?
• RQ2 모형 불확실성 하에서 주성분 모형을 효과적으로 선택하고 평균화하는 가장 좋은 방법은 무엇인가?
• RQ3 고차원 모형 공간에서 사후 모형 확률을 효율적으로 계산하는 방법은 무엇인가?
• RQ4 제안된 방법이 추론에 대한 극단적 관측치의 영향을 어느 정도 줄이는가?

주요 결과

• 제안된 방법은 이상치의 영향을 효과적으로 줄여 데이터의 주요 경향성과 일관된 결과를 보장한다.
• 사후 확률 기반의 모형 평균화는 모형 불확실성을 반영함으로써 예측 정확도를 향상시킨다.
• 역전이 가능한 마르코프 체인 몬테카를로 알고리즘을 통해 고차원 모형 공간의 효율적 탐색이 가능하다.
• 이 방법은 전체 강건성(whole robustness)을 달성하여 이상치가 무한대 방향으로 갈수록 그 영향이 渐진적으로 사라진다.
• 명확한 계산 지침을 제공하는 바탕으로 실용적이고 구현 가능한 베이지안 주성분 회귀 프레임워크를 제공한다.