[논문 리뷰] Predictor-dependent shrinkage for linear regression via partial factor modeling

P. Richard Hahn, Sayan Mukherjee외 1명|arXiv (Cornell University)|2010. 11. 16.

Statistical Methods and Inference참고 문헌 37인용 수 3

한 줄 요약

이 논문은 고차원 설정(p ≫ n)에서 선형 회귀를 위한 부분 요인 모델을 제안하며, 조건부 회귀를 독립적인 예측 변수 분포에서 분리시킴으로써 예측 변수에 의존하는 수축을 향상시킨다. 계층적 구조로 공동 모델을 재매개변수화함으로써, 계층적 사전분포를 통한 정보 공유를 통해 강건한 수축을 가능하게 하여, 다양한 공분산 구조에서 표준 방법(리지 회귀, 주성분 회귀 등)을 능가한다.

ABSTRACT

In prediction problems with more predictors than observations, it can sometimes be helpful to use a joint probability model, $π(Y,X)$, rather than a purely conditional model, $π(Y \mid X)$, where $Y$ is a scalar response variable and $X$ is a vector of predictors. This approach is motivated by the fact that in many situations the marginal predictor distribution $π(X)$ can provide useful information about the parameter values governing the conditional regression. However, under very mild misspecification, this marginal distribution can also lead conditional inferences astray. Here, we explore these ideas in the context of linear factor models, to understand how they play out in a familiar setting. The resulting Bayesian model performs well across a wide range of covariance structures, on real and simulated data.

연구 동기 및 목표

• 고차원 선형 회귀(p ≫ n)에서 예측 변수에 의존하는 수축 문제를 다루며, 특히 예측 변수의 극단적 분포가 조건부 추론을 오도할 수 있음을 고려한다.
• 특히 k가 잘못 지정되거나 너무 작을 경우, 공통 요인 모델이 요인 수 k의 사전분포 지정에 민감해지는 문제를 해결한다.
• 고차원 예측 변수의 분포가 회귀 계수 추론에 지배적이지 않도록, 예측 변수의 구조에서 정보를 빌려오는 방법을 개발한다.
• 조건부 회귀 추정과 예측 변수의 주변 모델을 분리함으로써 신뢰할 수 있는 불확실성 정량화를 보장하는 강건한 베이지안 프레임워크를 제공한다.

제안 방법

• 공동 분포 π(Y, X)를 π(X|θ_X)π(Y|X, θ_X, θ_Y)로 재매개변수화하는 계층적 부분 요인 모델을 제안하며, θ_X는 예측 변수의 구조를 제어하고 θ_Y는 회귀를 제어한다.
• 조건부 평균 E(Y|X)가 잠재 요인 f와 잔차 X − E(X|f)에 모두 의존하는 복합 표현을 사용함으로써, 데이터 기반의 민감한 수축을 가능하게 한다.
• 정보 공유를 가능하게 하기 위해 π(θ_Y|θ_X)π(θ_X)의 계층적 사전분포를 도입하여, 공동 모델의 구조를 고정하지 않고도 예측 변수의 구조에서 정보를 빌릴 수 있도록 한다.
• 반응 변수와 관련된 로딩 행렬 B_Y의 질량에 대한 사전분포를 도입함으로써, 회귀 부분공간의 충분한 차원을 추정할 수 있도록 한다.
• MCMC를 통한 사후분포 계산을 통해 Pr(Λ = 0|X, Y)를 추정하며, 이는 반응 변수가 요인의 부분공간에만 의존할 확률을 나타내어 효과적인 차원을 식별한다.
• θ의 사후분포를 이용해 수축을 수행하면서도 불확실성 정량화를 유지함으로써, 고정된 k 기반의 요인 모델의 단점을 피한다.

실험 결과

연구 질문

• RQ1 예측 변수와 반응 변수의 공동 분포를 활용하여 고차원 설정(p ≫ n)에서 조건부 회귀 추론을 어떻게 향상시킬 수 있는가?
• RQ2 공동 요인 모델에서 잠재 요인 수 k를 잘못 지정할 경우, 특히 반응 변수가 중요도가 낮은 성분과 상관관계가 있을 때 어떤 결과가 초래되는가?
• RQ3 고차원 주변 예측 변수 분포에 의해 지배받지 않으면서도 강건한 수축을 가능하게 하는 공동 모델을 어떻게 구성할 수 있는가?
• RQ4 예측 변수 공간에서 정보를 빌릴 수 있도록 하면서도 조건부 회귀 모델의 유연성을 유지할 수 있는 계층적 사전분포 구조는 어떻게 설계할 수 있는가?
• RQ5 충분한 차원 감소 부분공간은 모델 오지정 상황에서 예측 성능과 불확실성 정량화를 향상시키는 데 어떤 역할을 하는가?

주요 결과

• 모의 및 실데이터에서 다양한 공분산 구조 하에서 리지 회귀, 주성분 회귀, 최소각도 추정법 등 표준 방법보다 부분 요인 모델이 뛰어난 성능을 보였다.
• 반응 변수 관련 부분공간의 질량에 대한 사후 추론(Pr(Λ = 0|X, Y))은 k가 잘못 지정되어도 실제 효과적인 차원을 효과적으로 식별한다.
• 요인 모델의 사전가정과 분리함으로써 예측 변수의 주변 분포에 대한 과적합 위험을 성공적으로 완화하였다.
• 계층적 사전분포 구조 덕분에 k의 정확한 지정이 필요 없이 강건한 수축이 가능해졌으며, 사전 선택에 대한 민감도가 감소하였다.
• 사후분포를 통해 부분공간 차원과 요인 구조에 대한 불확실성을 전파함으로써 예측의 신뢰할 수 있는 불확실성 정량화를 유지하였다.
• 조건부 평균 구조 E(Y|f,X) = g(f) + h(X − E(X|f))를 통해 비선형 설정으로의 일반화 가능성을 입증함으로써, 더 넓은 적용 가능성을 보였다.