[논문 리뷰] High Dimensional Linear Regression via the R2-D2 Shrinkage Prior

Yan Zhang, Brian J. Reich외 1명|arXiv (Cornell University)|2016. 08. 31.

Bayesian Methods and Mixture Models참고 문헌 23인용 수 11

한 줄 요약

이 논문은 고차원 선형 회귀에 대한 R2-D2 수축 사전을 소개한다. 이 사전은 결정계수에 베타 사전을 두고 총 분산을 딜레르트 사전을 통해 분해함으로써, 기존 수축 사전들 중에서 가장 빠른 0 주위 집중 속도와 가장 무거운 꼬리(heavy tails)를 가지며, 이는 Kullback-Leibler 초효율적 후행 수렴과 계산적으로 다룰 수 있는 깁스 샘플링을 가능하게 한다.

ABSTRACT

We propose a new class of priors for linear regression, the R-square induced Dirichlet Decomposition (R2-D2) prior. The prior is induced by a Beta prior on the coefficient of determination, and then the total prior variance of the regression coefficients is decomposed through a Dirichlet prior. We demonstrate both theoretically and empirically the advantages of the R2-D2 prior over a number of common shrink- age priors, including the Horseshoe, Horseshoe+, and Dirichlet-Laplace priors. The R2-D2 prior possesses the fastest concentration rate around zero and heaviest tails among these common shrinkage priors, which is established based on its marginal density, a Meijer G-function. We show that its Bayes estimator converges to the truth at a Kullback-Leibler super-efficient rate, attaining a sharper information theoretic bound than existing common shrinkage priors. We also demonstrate that the R2-D2 prior yields a consistent posterior. The R2-D2 prior permits straightforward Gibbs sampling and thus enjoys computational tractability. The proposed prior is further investigated in a mouse gene expression application.

연구 동기 및 목표

• 기존 수축 사전들이 고차원 선형 회귀에서 꼬리 행동과 0 주위 집중성 측면에서 가지는 한계를 해결하기 위해.
• 더 빠른 후행 집중과 향상된 빈도주의 위험 성질을 가능하게 하는 사전을 개발하기 위해.
• 조건부 켤레성 기반 깁스 샘플링 기반으로 계산적 타당성을 확보하기 위해.
• Kullback-Leibler 발산 기준 하에서 이론적 일致성과 수렴 속도를 확립하기 위해.
• 시뮬레이션과 실세계 데이터에서 Horseshoe, Horseshoe+, Dirichlet-Laplace 사전들보다 경험적으로 뛰어난 성능을 보여주기 위해.

제안 방법

• R2-D2 사전은 회귀 계수의 총 분산을 지배하는 결정계수(R²)에 대해 베타 사전을 두어 구성된다.
• 총 분산은 계수별로 유연한 수축 할당을 가능하게 하기 위해 딜레르트 사전을 사용하여 계수 간 분해된다.
• 회귀 계수의 주변 사전 밀도는 메이저 G-함수로 유도되며, 이는 꼬리 행동과 집중 성질의 이론적 분석을 가능하게 한다.
• 조건부 켤레성의 활용으로 간편한 깁스 샘플링이 가능하여 계산 효율성이 보장된다.
• 주변 밀도 및 후행 집중 속도 분석을 통한 이론적 성질 확립.
• 시뮬레이션 연구와 실세계 마우스 유전자 발현 데이터셋을 통한 검증.

실험 결과

연구 질문

• RQ1 R2-D2 사전은 고차원 설정에서 기존 수축 사전들보다 0 주위에 더 빠르게 집중하는가?
• RQ2 R2-D2 사전은 Kullback-Leibler 초효율적 후행 수렴 속도를 달성하는가?
• RQ3 정규성 조건 하에서 R2-D2 사전은 일致한 후행 분포를 제공하는가?
• RQ4 유한 표본에서 R2-D2 사전은 Horseshoe, Horseshoe+, Dirichlet-Laplace 사전들과 비교해 경험적으로 어떻게 성능을 내는가?
• RQ5 R2-D2 사전은 대규모 회귀 문제에 대해 계산적으로 다룰 수 있는가?

주요 결과

• R2-D2 사전은 기존에 널리 쓰이는 수축 사전들 중에서 가장 빠른 0 주위 집중 속도를 보이며, 이는 무거운 꼬리 주변 밀도 덕분이다.
• R2-D2의 주변 사전 밀도는 메이저 G-함수이며, 이는 꼬리 행동과 집중 성질의 정밀한 특성화를 가능하게 한다.
• R2-D2 사전 하에서의 베이즈 추정량은 Kullback-Leibler 초효율적 속도로 참 수치로 수렴하며, 정보 이론적 효율성 측면에서 기존 수축 사전들을 능가한다.
• R2-D2 사전 하의 후행 분포는 일치한다. 즉, 표본 크기가 증가함에 따라 참 회귀 계수 주위로 집중된다.
• 조건부 켤레성 덕분에 R2-D2 사전은 효율적인 깁스 샘플링을 지원하여 고차원에서의 확장 가능한 계산이 가능하다.
• 마우스 유전자 발현 연구에서의 경험적 결과는 R2-D2 사전이 변수 선택과 추정 정확도에서 뛰어난 성능을 보임을 확인한다.