[논문 리뷰] Consistency of ELBO maximization for model selection

Badr-Eddine Chérief-Abdellatif|arXiv (Cornell University)|2018. 10. 28.

Advanced Control Systems Optimization인용 수 12

한 줄 요약

이 논문은 변분 추론에서 Evidence Lower Bound (ELBO) 최적화를 통한 모델 선택에 대한 이론적 일致성을 확립한다. 모델가 잘못 지정되어 있어도, 선택된 변분 근사가 진짜 데이터 분포로 수렴하는 속도가 진짜 모델의 근사 속도와 동일함을 보여준다. 핵심 기여는 약간의 조건 하에서 강건성과 일致성을 보장하는 오라클 부등식의 증명이며, 이는 확률적 주성분 분석에서 성분 수 선택에 적용하여 검증되었다.

ABSTRACT

The Evidence Lower Bound (ELBO) is a quantity that plays a key role in variational inference. It can also be used as a criterion in model selection. However, though extremely popular in practice in the variational Bayes community, there has never been a general theoretic justification for selecting based on the ELBO. In this paper, we show that the ELBO maximization strategy has strong theoretical guarantees, and is robust to model misspecification while most works rely on the assumption that one model is correctly specified. We illustrate our theoretical results by an application to the selection of the number of principal components in probabilistic PCA.

연구 동기 및 목표

• 변분 베이즈에서 널리 사용되고 있음에도 불구하고 공식적인 기반 없이도 모델 선택에 기반한 ELBO 최적화의 이론적 근거를 제공하는 것.
• 진짜 모델이 존재할 경우, 진짜 데이터 분포를 추정하는 데 있어 ELBO 기준의 일치성을 확립하는 것.
• 모델가 올바르게 지정되지 않은 경우에도 분석을 확장하여 모델가 잘못 지정된 경우의 강건성과 일치성을 입증하는 것.
• 확률적 주성분 분석에서 성분 수 선택에 응용하여 이론적 결과의 실용적 관련성을 보여주는 것.

제안 방법

• 모델에 대한 사전 믿음을 반영하는 복잡도 페널티 항을 포함한 페널라이제이션된 ELBO 기준을 사용하며, 이는 $ \hat{K} = \arg\max_K \left( \text{ELBO}(K) - \log(1/\pi_K) \right) $ 로 정의된다.
• 모델가 잘못 지정된 경우의 강건성과 일치성을 향상시키기 위해 매개수 $ \alpha \in (0,1) $ 를 가진 온도 조절된 사후 분포를 적용한다.
• 선택된 변분 가정 $ \mathcal{F}_K $ 에서 온도 조절된 사후 분포로부터의 KL 발산 최소화자로 변분 근사를 정의한다.
• 진짜 분포와 선택된 변분 근사 간의 기대 $ \alpha $-Rényi 발산을 제한하는 오라클 부등식을 유도한다.
• 수렴 속도 분석이 가능하도록, 공분산 추정기의 행렬 원소에 유한성 조건을 부여하기 위해 프로젝션 연산자(clipB)를 사용한다.
• 유계 스펙트럼 노름 조건 하에서, 추정된 공분산 행렬의 프레베니우스 노름 기반 수렴 속도를 분석한다.

실험 결과

연구 질문

• RQ1 특히 정확한 모델이 존재하지 않는 경우, ELBO 최적화가 모델 선택에 대해 이론적으로 타당한가?
• RQ2 ELBO 최적화를 통해 선택된 변분 근사는 진짜 모델 하에서의 근사와 동일한 수렴 속도를 달성할 수 있는가?
• RQ3 진짜 모델이 알려져 있거나 잘못 지정된 경우, 페널라이제이션된 ELBO 기준이 일치성과 강건성을 어떻게 확보하는가?
• RQ4 확률적 주성분 분석에서 성분 수를 ELBO를 통해 선택할 경우, 변분 추정기의 수렴 속도는 어떠한가?
• RQ5 $ \alpha \in (0,1) $ 인 온도 조절된 사후 분포를 사용할 경우, ELBO 기반 모델 선택의 이론적 성질은 어떻게 향상되는가?

주요 결과

• 페널라이제이션된 ELBO 기준은 일치성을 보장한다: 표본 크기가 증가함에 따라, 진짜 분포와 선택된 변분 근사 간의 기대 $ \alpha $-Rényi 발산이 0으로 수렴한다.
• 계수 $ W_0 $ 가 유계인 진짜 모델 $ M_{K_0} $ 가 존재할 경우, 기대 $ \alpha $-Rényi 발산은 $ O\left(\frac{dK_0 \log(dn)}{n}\right) $ 으로 유계이다.
• 행렬 $ W_0 $ 의 스펙트럼 노름이 유계일 경우, 프로젝션된 공분산 추정기 $ \widehat{\Sigma} $ 의 기대 프레베니우스 노름 오차 역시 $ O\left(\frac{dK_0 \log(dn)}{n}\right) $ 으로 유계이다.
• 모델가 잘못 지정된 경우에도 강건성이 입증되었으며, 이는 어떤 모델도 정확히 맞지 않는 경우에도 위험을 제어하는 오라클 부등식을 통해 확인된다.
• 이론적 수렴 속도는 진짜 모델 하에서의 변분 근사가 달성할 수 있는 최적 속도와 일치하여, 적응성(adaptivity)을 보여준다.
• 이론적 프레임워크는 ELBO 최적화에서 $ \alpha $-온도 조절된 사후 분포의 사용을 지지하며, 이는 표준 사후 분포가 병리적인 경우에 비해 농도 집중과 강건성을 보장하기 때문이다.