[논문 리뷰] A General Framework for Bayes Structured Linear Models

Chao Gao, Aad van der Vaart외 1명|arXiv (Cornell University)|2015. 06. 06.

Statistical Methods and Inference참고 문헌 45인용 수 26

한 줄 요약

이 논문은 고차원 및 비모수 모델을 위한 통합 베이지안 프레임워크를 제안하며, 모형 구조를 위한 하나의 사전과 타원형 라플라스 분포를 통한 매개변수를 위한 또 다른 사전을 사용하는 새로운 이단계 사전을 도입한다. 모형 불일치 하에서도 일반적인 오라클 부등식과 최적 수렴 속도를 확보하여, 희소 회귀, 스토하스틱 블록 모형, 그래폰 추정, 사전 학습 기반 학습 등 다양한 응용 분야에서 이전 연구보다 더 약한 가정 하에서도 최적의 결과를 도출한다.

ABSTRACT

High dimensional statistics deals with the challenge of extracting structured information from complex model settings. Compared with the growing number of frequentist methodologies, there are rather few theoretically optimal Bayes methods that can deal with very general high dimensional models. In contrast, Bayes methods have been extensively studied in various nonparametric settings and rate optimal posterior contraction results have been established. This paper provides a unified approach to both Bayes high dimensional statistics and Bayes nonparametrics in a general framework of structured linear models. With the proposed two-step model selection prior, we prove a general theorem of posterior contraction under an abstract setting. The main theorem can be used to derive new results on optimal posterior contraction under many complex model settings including stochastic block model, graphon estimation and dictionary learning. It can also be used to re-derive optimal posterior contraction for problems such as sparse linear regression and nonparametric aggregation, which improve upon previous Bayes results for these problems. The key of the success lies in the proposed two-step prior distribution. The prior on the parameters is an elliptical Laplace distribution that is capable to model signals with large magnitude, and the prior on the models involves an important correction factor that compensates the effect of the normalizing constant of the elliptical Laplace distribution.

연구 동기 및 목표

• 고차원 및 비모수 모델을 위한 일반적인 베이지안 이론을 개발하여 기존의 방법론들을 통합한다.
• 빈도주의 접근에 비해 고차원 통계에서 이론적으로 최적의 베이지안 방법이 부족한 문제를 해결한다.
• 스피크-앤프-슬래브나 독립 라플라스와 같은 기존 사전의 한계를 극복하기 위해 더 유연하고 구조화된 사전을 도입한다.
• 모형 불일치 하에서도 최적 수렴 속도를 확보하는 사후 수렴을 달성함으로써 잘 지정된 모형을 넘어서 적용 범위를 넓힌다.
• 희소 선형 회귀, 스토하스틱 블록 모형, 그래폰, 사전 학습 기반 학습 등 다양한 모형 간의 결과를 통합한다.

제안 방법

• 모형 구조(예: 희소성 패턴 또는 블록 구조)를 먼저 모델링하고, 매개변수를 타원형 라플라스 분포를 통해 모델링하는 이단계 사전을 제안한다.
• 크기가 크고 꼬리가 두꺼운 신호를 다룰 수 있도록 매개변수에 타원형 라플라스 사전을 사용하여 강건성을 향상시킨다.
• 모형 선택 사전에 보정 인자를 도입하여 타원형 라플라스 분포의 정규화 상수를 보상함으로써 최적 수렴 속도를 확보한다.
• 모형 불일치가 가능한 임의의 경우에도 적용 가능한 일반적인 오라클 부등식을 유도한다.
• 이 프레임워크를 적용하여 비모수 집계 및 웨이블릿 추정을 포함한 10개 이상의 다양한 모형에서 최적의 사후 수렴 속도를 도출한다.
• 집중 불등식과 尾 꼬리 경계를 사용하여 사후 꼬리 확률를 제어하고 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 단일 베이지안 프레임워크로 다양한 고차원 및 비모수 모형에서 최적의 사후 수렴을 달성할 수 있는가?
• RQ2 스피크-앤프-슬래브나 독립 라플라스와 같은 기존 사전에 비해 이단계 사전의 구조가 사후 수렴 속도를 어떻게 향상시키는가?
• RQ3 매개변수 사전의 정규화 상수가 비트리비얼할 경우, 모형 선택 사전에 도입된 보정 인자는 어떤 역할을 하는가?
• RQ4 일반적인 오라클 부등식은 얼마나 넓은 범위의 모형 불일치 상황에서도 최적의 사후 수렴을 보장할 수 있는가?
• RQ5 희소 회귀, 스토하스틱 블록 모형, 사전 학습 기반 학습 등 서로 다른 모형 간의 결과를 통합할 수 있는가?

주요 결과

• 제안된 이단계 사전는 이전의 독립 라플라스 사전를 사용한 방법보다 더 약한 가정 하에서도 희소 선형 회귀에서 최적 수렴 속도를 달성한다.
• 이 프레임워크는 스토하스틱 블록 모형, 바이클러스터링, 그룹 희소 선형 회귀, 다중 작업 학습에서 정확한 최소자승 사후 수렴 속도를 도출한다.
• 베소프 공간에서의 비모수 그래폰 추정 및 집합에 대해 일반적인 오라클 부등식은 모형 불일치 하에서도 최적의 사후 수렴을 가능하게 한다.
• 모형 선택 사전에 도입된 보정 인자는 필수적이다. 타원형 라플라스 분포의 정규화 상수가 비트리비얼하기 때문에 이 보정 인자가 없으면 사후 수렴 속도가 최적이 아니게 된다.
• 일반적인 오라클 부등식은 구조화된 선형 모형 프레임워크 외부의 모형, 예를 들어 근사 희소성 및 웨이블릿 추정 등에서도 최적의 사후 수렴 속도를 도출할 수 있도록 허용한다.
• 이론적 결과는 10개 이상의 다양한 예시를 통해 검증되었으며, 제안된 프레임워크의 광범위한 적용 가능성과 강건성을 입증한다.