[논문 리뷰] Bayesian Linear Regression for Multivariate Responses Under Group Sparsity

Bo Ning, Seonghyun Jeong외 1명|arXiv (Cornell University)|2018. 07. 10.

Statistical Methods and Inference참고 문헌 25인용 수 4

한 줄 요약

이 논문은 스파이크-앤플러그 사전을 사용하고 ℓ₂,₁-정규화를 적용한 군집 스파arsity와 알려지지 않은 고차원 공분산을 갖는 베이지안 다변량 선형 회귀 모델을 제안한다. 또한 공분산 행렬에 대한 고유분해 기반의 새로운 사전을 도입한다. 이 모델은 유클리드 거리 척도 하에서 사후 수축 속도를 확립하고, 베르누이-폰 노이만 정리에 기반한 빈도주의 타당성을 입증하여 선택 일致성과 모형 차원 복원을 보장한다.

ABSTRACT

We study frequentist properties of a Bayesian high-dimensional multivariate linear regression model with correlated responses. The predictors are separated into many groups and the group structure is pre-determined. Two features of the model are unique: (i) group sparsity is imposed on the predictors. (ii) the covariance matrix is unknown and its dimensions can also be high. We choose a product of independent spike-and-slab priors on the regression coefficients and a new prior on the covariance matrix based on its eigendecomposition. Each spike-and-slab prior is a mixture of a point mass at zero and a multivariate density involving a $\ell_{2,1}$-norm. We first obtain the posterior contraction rate, the bounds on the effective dimension of the model with high posterior probabilities. We then show that the multivariate regression coefficients can be recovered under certain compatibility conditions. Finally, we quantify the uncertainty for the regression coefficients with frequentist validity through a Bernstein-von Mises type theorem. The result leads to selection consistency for the Bayesian method. We derive the posterior contraction rate using the general theory by constructing a suitable test from the first principle using moment bounds for certain likelihood ratios. This leads to posterior concentration around the truth with respect to the average Rényi divergence of order 1/2. This technique of obtaining the required tests for posterior contraction rate could be useful in many other problems.

연구 동기 및 목표

• 군집 스파arsity와 알려지지 않은 공분산 행렬을 갖는 고차원 다변량 선형 회귀의 빈도주의 성질을 연구하는 것.
• 스파이크-앤플러그 사전을 사용하고 회귀 계수에 ℓ₂,₁-정규화를 적용함으로써 군집 스파arsity를 유도하는 사전 구조를 개발하는 것.
• 공분산 행렬에 대해 고유분해를 기반으로 한 새로운 사전을 구성하여 고차원, 알려지지 않은 공분산을 다루는 것.
• 평균 레니 엔트로피 수렴 기준(순서 1/2) 하에서 사후 수축 속도를 확립하고, 이를 유클리드 거리 척도로 변환하는 것.
• 선택 일치성을 보장하는 베르누이-폰 노이만 유형 정리에 기반한 빈도주의 타당성을 입증하여 사후 추론의 빈도주의 타당성을 확보하는 것.

제안 방법

• 각 성분이 영점에 대한 확률질량과 ℓ₂,₁-정규화를 포함하는 다변량 밀도의 혼합인, 상호독립적인 스파이크-앤플러그 사전을 회귀 계수에 적용한다.
• 군집 간의 ℓ₂,₁-노름을 적용하여 군집 스파arsity를 유도함으로써, 전체 예측 변수 그룹이 함께 선택되거나 제거되도록 유도한다.
• 공분산 행렬의 역행렬에 대한 새로운 사전을 고유분해 기반으로 제안하여 적절한 집중성과 고차원 적응성을 보장한다.
• 우선 원리에서 유도된 검정을 구성하고 가능도 비율의 모멘트 유계를 이용하여 사후 수축 이론을 일반화한다.
• 파rameter 공간을 작은 조각들로 나누고, 모멘트 유계를 통해 오차 확률을 통제함으로써, 레니 엔트로피 수렴 하에서의 수축 속도를 확보한다.
• 측도 전환의 논리적 접근을 통해 레니 엔트로피 기반의 수축 속도를 유클리드 거리 척도로 변환함으로써, 유효한 빈도주의 추론을 보장한다.

실험 결과

연구 질문

• RQ1 군집 스파arsity와 알려지지 않은 고차원 공분산을 갖는 베이지안 다변량 회귀에서 사후 수축 속도를 확립할 수 있는가?
• RQ2 ℓ₂,₁-정규화를 적용한 제안된 스파이크-앤플러그 사전은 일관된 모형 선택과 진짜 군집 구조의 복원을 이끌 수 있는가?
• RQ3 공분산 행렬에 대한 새로운 고유분해 기반 사전은 적절한 집중성과 고차원 적응성을 보장할 수 있는가?
• RQ4 사후 분포가 베르누이-폰 노이만 정리의 의미에서 점차 정규분포가 되는가? 이는 신뢰구간의 빈도주의 타당성을 보장한다.
• RQ5 호환 조건과 고차원 스케일링 하에서 선택 일치성을 달성할 수 있는가?

주요 결과

• 평균 레니 엔트로피 수렴 기준(순서 1/2) 하에서 사후 수축 속도가 확립되었으며, 이 속도는 회귀 계수에 대한 유클리드 거리 척도로 변환되었다.
• 방법은 진짜 회귀 계수 주변에 사후 집중을 보이며, 높은 사후 확률로 효과적인 모형 차원이 유한하게 제한된다.
• 호환 조건 하에서 모형 차원 복원이 타당하며, 비영인 군집의 수가 일致적으로 추정된다.
• 공분산 행렬에 대한 사전 집중이 통제되며, 진짜 역공분산 행렬 주변의 이웃에 대한 사전 확률가 상수배의 −d³ log n 이하로 유계된다.
• 시에브 기반 엔트로피와 사전 질량 추정치가 통제되며, log N* ≲ nεₙ² 가 성립함으로써 사후 수축에 필수적이다.
• 선택 일치성이 달성되었고, 베르누이-폰 노이만 정리가 성립하여, 고차원 환경에서 베이지안 신뢰구간이 빈도주의 신뢰구간으로 타당함을 입증한다.