[논문 리뷰] Random weighting to approximate posterior inference in LASSO regression

Tun Lee Ng, Michael A. Newton|arXiv (Cornell University)|2020. 02. 07.

Statistical Methods and Inference참고 문헌 29인용 수 5

한 줄 요약

이 논문은 LASSO 회귀에서 베이지안 사후 추론을 근사하기 위해 목적 함수 항목에 독립적인 지수 확률 변수 무게를 부여하고 반복적으로 최적화하여 서브스트레이트 샘플을 생성하는 무작위 가중치 방법을 제안한다. λₙ = o(√n)일 때 이 방법은 점차적 등가성을 달성하며, λₙ = O(nᶜ)일 때 1/2 < c < 1이면 조건부 모형 선택 일致성을 확보한다.

ABSTRACT

We consider a general-purpose approximation approach to Bayesian inference in which repeated optimization of a randomized objective function provides surrogate samples from the joint posterior distribution. In the context of LASSO regression, we repeatedly assign independently-drawn standard-exponential random weights to terms in the objective function, and optimize to obtain the surrogate samples. We establish the asymptotic properties of this method under different regularization parameters $\lambda_n$. In particular, if $\lambda_n = o(\sqrt{n})$, then the random-weighting (weighted bootstrap) samples are equivalent (up to the first order) to the Bayesian posterior samples. If $\lambda_n = \mathcal{O} \left( n^c ight)$ for some $1/2 < c < 1$, then these samples achieve conditional model selection consistency. We also establish the asymptotic properties of the random-weighting method when weights are drawn from other distributions, and also if weights are assigned to the LASSO penalty terms.

연구 동기 및 목표

• 고차원 회귀 모델에서 베이지안 추론을 위한 일반 목적의 근사 방법을 개발하기 위해.
• 다양한 정규화 매개수 하에서 LASSO 회귀에서의 무작위 가중치의 점차적 타당성을 조사하기 위해.
• 무작위 가중치 샘플이 사후 분포와 점차적으로 등가가 되거나 모형 선택 일치성을 달성할 수 있는 조건을 설정하기 위해.
• 이를 다양한 가중치 분포로 확장하고, 정규화 항목에 가중치를 적용하는 데로 확장하기 위해.

제안 방법

• LASSO 목적 함수의 각 항목에 독립적인 표준 지수 확률 변수 무게를 부여하기 위해.
• 반복적으로 가중된 목적 함수를 최적화하여 사후 분포에서의 서브스트라이트 샘플을 생성하기 위해.
• 정규화 매개수 λₙ의 다양한 스케일링 체제 하에서 이러한 샘플의 점차적 행동을 분석하기 위해.
• 무작위 가중치 샘플이 진정한 베이지안 사후 샘플과 점차적으로 등가가 되는 조건을 유도하기 위해.
• 가중치가 다른 분포에서 추출되거나 LASSO 정규화 항목에 특별히 적용되는 경우로 이 프레임워크를 확장하기 위해.
• 점차적 이론을 사용하여 다양한 λₙ 성장률 하에서 등가성 및 일치성 특성을 확립하기 위해.

실험 결과

연구 질문

• RQ1 무작위 가중치 방법이 베이지안 사후 샘플과 점차적으로 등가가 되는 λₙ에 대한 조건은 무엇인가?
• RQ2 무작위 가중치 방법은 고차원 LASSO 회귀에서 조건부 모형 선택 일치성을 달성할 수 있는가?
• RQ3 가중치가 지수 분포가 아닌 다른 분포에서 추출될 경우, 이 방법의 점차적 성질은 어떻게 변화하는가?
• RQ4 잔차 제곱합이 아닌 LASSO 정규화 항목에만 가중치를 할당할 경우, 방법의 타당성은 어떻게 되는가?
• RQ5 λₙ가 √n보다 느린 속도로 증가할 경우, 방법은 일관성을 유지하는가?

주요 결과

• λₙ = o(√n)일 때, 무작위 가중치 샘플은 첫 번째 차수까지 진정한 베이지안 사후 샘플과 점차적으로 등가가 된다.
• λₙ = O(nᶜ)이고 1/2 < c < 1일 때, 이 방법은 조건부 모형 선택 일치성을 달성한다.
• 무작위 가중치에 사용된 구체적 분포에 관계없이, 가중치가 i.i.d.이고 표준 지수 분포이면 점차적 등가성이 유지된다.
• 잔차 제곱합이 아닌 LASSO 정규화 항목에 가중치를 할당할 경우, 다른 점차적 행동을 보이며, 이는 논문에서 특성화되어 있다.
• 설계 행렬과 오차 분포에 대한 약한 정규성 조건 하에서 방법은 여전히 타당하다.
• 이론적 결과는 무작위 가중치를 통한 서브스트라이트 샘플이 적절한 정규화 스케일링 하에서 핵심 빈도주의 및 베이지안 성질을 상속함을 확인한다.