[논문 리뷰] Bayesian model selection consistency and oracle inequality with intractable marginal likelihood

Yun Yang, Debdeep Pati|arXiv (Cornell University)|2017. 01. 02.

Bayesian Methods and Mixture Models참고 문헌 2인용 수 15

한 줄 요약

이 논문은 마진형 우도가 비가역적일 때 베이지안 모형 선택에 대한 빈도주의 일致성과 오라클 부등식을 약한 식별성 조건과 사전의 반-집중 조건 하에서 확립한다. 국소 베이지안 복잡도라는 개념을 도입하여 적응형 사후 농도 집중을 특성화하며, 고차원 비모수 회귀 및 밀도 회귀에서 모형 선택 일치성과 최적의 사후 농도를 입증한다.

ABSTRACT

In this article, we investigate large sample properties of model selection procedures in a general Bayesian framework when a closed form expression of the marginal likelihood function is not available or a local asymptotic quadratic approximation of the log-likelihood function does not exist. Under appropriate identifiability assumptions on the true model, we provide sufficient conditions for a Bayesian model selection procedure to be consistent and obey the Occam's razor phenomenon, i.e., the probability of selecting the "smallest" model that contains the truth tends to one as the sample size goes to infinity. In order to show that a Bayesian model selection procedure selects the smallest model containing the truth, we impose a prior anti-concentration condition, requiring the prior mass assigned by large models to a neighborhood of the truth to be sufficiently small. In a more general setting where the strong model identifiability assumption may not hold, we introduce the notion of local Bayesian complexity and develop oracle inequalities for Bayesian model selection procedures. Our Bayesian oracle inequality characterizes a trade-off between the approximation error and a Bayesian characterization of the local complexity of the model, illustrating the adaptive nature of averaging-based Bayesian procedures towards achieving an optimal rate of posterior convergence. Specific applications of the model selection theory are discussed in the context of high-dimensional nonparametric regression and density regression where the regression function or the conditional density is assumed to depend on a fixed subset of predictors. As a result of independent interest, we propose a general technique for obtaining upper bounds of certain small ball probability of stationary Gaussian processes.

연구 동기 및 목표

• 마진형 우도가 비가역적이거나 국소 2차 근사가 존재하지 않을 때, 베이지안 모형 선택 절차의 빈도주의 일치성을 확립하는 것.
• 약한 식별성과 비정규 모형 하에서 베이지안 모형 선택에서 옥암의 날개 현상(Occam's razor phenomenon)을 체계화하는 것.
• 사후 농도 집중에서 근사 오차와 모형 복잡도 간의 상호작용을 특성화하기 위해 국소 베이지안 복잡도의 개념을 도입하는 것.
• 최적의 사후 수렴 농도에 대한 적응적 행동을 반영하는 오라클 부등식을 도출하는 것.
• 고차원 비모수 회귀 및 밀도 회귀에 이 이론을 적용하는 것 — 여기서 회귀 함수 또는 조건부 밀도는 예측 변수의 고정된 부분집합에 의존한다.

제안 방법

• 큰 모형이 참 모형의 이웃에 과도한 사전 질량을 할당하지 않도록 보장하기 위해 사전의 반-집중 조건을 제안한다.
• 참 모형 주변의 모형 공간의 국소 기하학적 구조에 따라 의존하는 모형 복잡도를 측정하는 국소 베이지안 복잡도를 도입한다.
• 근사 오차와 국소 모형 복잡도를 균형 잡는 베이지안 오라클 부등식을 유도하며, 이는 최적의 사후 농도 집중 농도를 도출한다.
• 이 이론을 고차원 비모수 회귀 및 밀도 회귀에 적용한다. 여기서 회귀 함수 또는 조건부 밀도는 예측 변수의 고정된 부분집합에 의존한다.
• 정적(stationary) 가우시안 과정의 소볼 확률을 유계화하기 위한 일반적인 기법을 개발한다. 이는 이론적 분석을 뒷받침한다.
• 메르센의 정리와 푸리에 급수를 이용해 정적 커널의 스펙트럼 분해를 통해 공분산 연산자의 고유값과 고유함수를 특성화한다.

실험 결과

연구 질문

• RQ1 마진형 우도가 비가역적일 때, 참 데이터 생성 모형을 포함하는 가장 작은 모형이 베이지안 모형 선택에 의해 일致적으로 선택되는 조건은 무엇인가?
• RQ2 약한 식별성과 비정규 모형 하에서 베이지안 모형 선택에서 옥암의 날개 현상은 어떻게 체계적으로 정당화할 수 있는가?
• RQ3 고차원 설정에서 모형 선택 일치성을 확보하기 위해 사전의 반-집중 조건이 수행하는 역할은 무엇인가?
• RQ4 국소 베이지안 복잡도는 어떻게 정의되고, 이를 통해 비정규 모형에서 사후 농도 집중에 대한 오라클 부등식을 유도할 수 있는가?
• RQ5 제안된 프레임워크는 고차원 비모수 회귀 및 밀도 회귀에서 최적의 사후 수렴 농도를 도출할 수 있는가?

주요 결과

• 사전의 반-집중 조건 하에서 모형 선택 일치성이 확립되며, 이는 표본 크기가 증가함에 따라 가장 작은 참 모형의 사후 확률이 1로 수렴함을 보장한다.
• 논문은 베이지안 모형 선택 절차가 옥암의 날개 원칙을 따르며, 적절한 식별성 및 사전 조건 하에서 최소 참 모형을 확률 1에 가까이 선택함을 증명한다.
• 효율적인 복잡도를 참 모형 근처에서 측정하는 새로운 국소 베이지안 복잡도 개념을 도입하였으며, 이는 오라클 부등식 유도에 기여한다.
• 베이지안 오라클 부등식은 근사 오차와 국소 모형 복잡도 간의 상호작용을 특성화하며, 최적의 사후 농도 집중 농도를 도출한다.
• 제곱 지수 커널의 경우, $ a^{-1}e^{-j^2/a^2} $ 형태로 고유값이 감소하며, $ j \neq 0 $ 이고 $ a $ 에 대해 적절한 조건이 만족될 때, 매테른 커널의 경우 고유값은 $ a^{-1}(1 + j^2/a^2)^{-(\nu+1/2)} $ 로 감소한다.
• 스펙트럼 분석을 통해 정적 가우시안 과정의 소볼 확률을 유계화하였으며, 이는 사후 농도 집중 이론적 발전을 뒷받침한다.