[논문 리뷰] How many needles in the haystack? Adaptive inference and uncertainty quantification for the horseshoe

Stéphanie van der Pas, Botond Szabó외 1명|arXiv (Cornell University)|2016. 07. 07.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 희박한 고차원 정규 평균 모델에서 말발굽 사전을 사용할 때 신뢰집합과 극단값 간격의 타당성에 대해 연구하며, 알려진 희박성 수준을 가정하지 않고 계층적 및 실증 베이즈 접근법을 비교한다. 이는 희박성이 정확히 지정된 경우 최적의 크기와 양호한 충실도 커버리지 성질을 달성하지만, 전체 매개변수 공간에서 과도한 수축으로 인해 진정성 없는 성질을 보이며, 이로 인해 불신뢰할 수 있는 불확실성 측정이 발생하는 매개변수의 부분집합을 규명한다.

ABSTRACT

We investigate the credible sets and marginal credible intervals resulting from the horseshoe prior in the sparse multivariate normal means model. We do so in an adaptive setting without assuming knowledge of the sparsity level (number of signals). We consider both the hierarchical Bayes method of putting a prior on the unknown sparsity level and the empirical Bayes method with the sparsity level estimated by maximum marginal likelihood. We show that credible balls and marginal credible intervals have good frequentist coverage and optimal size if the sparsity level of the prior is set correctly. By general theory honest confidence sets cannot adapt in size to an unknown sparsity level. Accordingly the hierarchical and empirical Bayes credible sets based on the horseshoe prior are not honest over the full parameter space. We show that this is due to over-shrinkage for certain parameters and characterise the set of parameters for which credible balls and marginal credible intervals do give correct uncertainty quantification. In particular we show that the fraction of false discoveries by the marginal Bayesian procedure is controlled by a correct choice of cut-off.

연구 동기 및 목표

• 희박한 다변량 정규 평균 모델에서 말발굽 사전을 기반으로 유도된 신뢰집합과 극단값 간격의 충실도 커버리지 및 크기 성질을 평가하는 것.
• 진정한 희박성 수준이 알려지지 않은 상황에서 계층적 및 실증 베이즈 방법이 말발굽 사전을 통해 적응적으로 진정한 불확실성 측정을 제공할 수 있는지 조사하는 것.
• 전체 매개변수 공간에서의 진정성 결여에도 불구하고 정확한 커버리지가 유지되는 매개변수의 집합을 규명하는 것.
• 극단값 베이즈 절차에서의 컷오프 선택이 거짓 발견률에 미치는 영향을 규명하는 것.

제안 방법

• 희박한 다변량 정규 평균 모델을 채택하여, 알려진 희박성 수준을 가정하지 않은 적응 설정에서 말발굽 사전 하에 신뢰집합과 극단값 간격을 분석한다.
• 계층 베이즈 접근법을 사용하여 알려지지 않은 희박성 수준에 대해 사전 분포를 설정함으로써 완전한 베이즈 추론을 가능하게 한다.
• 실증 베이즈 방법을 적용하여 최대 극단우도 기반으로 희박성 수준을 추정함으로써 적응형 추론을 달성한다.
• 이론적 분석을 통해 두 방법 모두에 대해 신뢰공간과 극단값 간격의 충실도 커버리지 및 크기를 평가한다.
• 말발굽 사전 하에서 과도한 수축이 발생하는 매개변수의 집합을 규명한다. 이는 불확실성 측정의 유효성을 상실하게 한다.
• 극단값 사후 확률에 대한 컷오프 임계값을 도입하여 거짓 발견의 비율을 제어하고, 이를 정확한 불확실성 측정과 연결한다.

실험 결과

연구 질문

• RQ1 희박성 수준이 정확히 지정된 경우, 말발굽 사전 기반의 신뢰집합과 극단값 간격이 최적의 크기와 양호한 충실도 커버리지 성질을 달성하는가?
• RQ2 희박성이 알려지지 않은 상황에서 계층적 및 실증 베이즈 방법이 말발굽 사전을 통해 전체 매개변수 공간에서 적응적으로 진정한 불확실성 측정을 제공할 수 있는가?
• RQ3 희박성이 알려지지 않은 상황에서 말발굽 사전이 진정한 커버리지에 실패하는 원인은 무엇이며, 과도한 수축의 영향을 가장 많이 받는 매개변수는 무엇인가?
• RQ4 극단값 베이즈 절차에서의 컷오프 선택이 거짓 발견률과 불확실성 측정 정확도에 미치는 영향은 어떠한가?
• RQ5 말발굽 사전 기반의 신뢰집합이 유효하고 잘 校정된 매개변수의 집합은 무엇인가?

주요 결과

• 말발굽 사전 기반의 신뢰공간과 극단값 신뢰간격은 사전의 희박성 수준이 진짜 희박성과 일치할 경우 최적의 크기와 양호한 충실도 커버리지 성질을 달성한다.
• 정확한 희박성 수준에서 최적의 크기와 커버리지 성질을 달성하더라도, 계층적 및 실증 베이즈 기반의 신뢰집합은 특정 매개변수에 대한 과도한 수축으로 인해 전체 매개변수 공간에서 진정성이 결여된다.
• 신호가 아니지만 잡음 수준에 가까운 매개변수에서는 과도한 수축이 발생하여 커버리지가 부족해지고 불확실성 측정이 무효화된다.
• 극단값 베이즈 절차에서의 거짓 발견 비율은 적절한 컷오프 선택에 의해 제어되며, 이는 일부 매개변수에 대해 유효한 불확실성 측정을 보장한다.
• 신뢰집합이 유효한 매개변수의 집합을 규명하였으며, 이는 말발굽 사전 하에서 진정한 추론이 전체 매개변수 공간의 진정한 부분집합에서만 가능하다는 것을 보여준다.