[논문 리뷰] Adaptive variational Bayes: Optimality, computation and applications

Ilsang Ohn, Lizhen Lin|arXiv (Cornell University)|2021. 09. 07.

Model Reduction and Neural Networks참고 문헌 107인용 수 4

한 줄 요약

이 논문은 일반적인 조건 하에서 적응형 사후 수축률을 달성하는 다양한 모델의 변분 사후를 최적의 가중치로 조합하는 적응형 변분 베이즈 프레임워크를 제안한다. 이 방법은 계산적으로 타당하며, 희소 및 딥 러닝 모델을 포함한 대규모 모델 집합에서도 최적의 최빈수익성 성능을 보장한다.

ABSTRACT

In this paper, we explore adaptive inference based on variational Bayes. Although several studies have been conducted to analyze the contraction properties of variational posteriors, there is still a lack of a general and computationally tractable variational Bayes method that performs adaptive inference. To fill this gap, we propose a novel adaptive variational Bayes framework, which can operate on a collection of models. The proposed framework first computes a variational posterior over each individual model separately and then combines them with certain weights to produce a variational posterior over the entire model. It turns out that this combined variational posterior is the closest member to the posterior over the entire model in a predefined family of approximating distributions. We show that the adaptive variational Bayes attains optimal contraction rates adaptively under very general conditions. We also provide a methodology to maintain the tractability and adaptive optimality of the adaptive variational Bayes even in the presence of an enormous number of individual models, such as sparse models. We apply the general results to several examples, including deep learning and sparse factor models, and derive new and adaptive inference results. In addition, we characterize an implicit regularization effect of variational Bayes and show that the adaptive variational posterior can utilize this.

연구 동기 및 목표

• 다양한 모델 간에 적응형 추론을 달성하는 일반적이고 계산적으로 타당한 변분 베이즈 방법의 부족을 해결한다.
• 모델 특화의 사전분포나 변분 가족을 요구하지 않고도 최적의 사후 수축률을 유지하는 프레임워크를 개발한다.
• 희소 또는 고차원 설정과 같은 상황에서 대량의 모델을 다룰 때 계산 가능성을 확보한다.
• 딥 뉴럴 네트워크나 희소 요인 모델과 같은 복잡한 모델에서 방법의 적응성과 최적성을 입증한다.
• 변분 베이즈의 암묵적 정규화 효과를 규명하고, 이를 적응형 프레임워크에서 어떻게 활용할 수 있는지 설명한다.

제안 방법

• 표준 변분 추론을 사용하여 모델 집합 내 각 개별 모델에 대해 별도의 변분 사후를 계산한다.
• 최적의 가중치를 사용하여 이러한 개별 변분 사후를 조합하여 전역적인 적응형 변분 사후를 형성한다.
• 결과로 도출된 적응형 변분 사후는 사전에 정의된 분포 가족 내에서 진짜 사후에 가장 가까운 근사값이다.
• 이중 단계 절차를 활용한다: 먼저 각 모델에 대해 변분 추론을 수행하고, 그 다음 가중 평균을 통한 모델 조합을 실시한다.
• Zhang & Gao (2020)의 이론적 결과를 활용하여 미약한 정규성 조건 하에서도 수축률 최적성 보장을 확보한다.
• 변분 베이즈의 암묵적 정규화 효과를 활용하여 고차원 및 희소 모델에서 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 일반적이고 계산적으로 타당한 변분 베이즈 방법이 다양한 모델 간에 적응형 사후 수축률을 달성할 수 있는가?
• RQ2 다양한 모델의 변분 사후를 어떻게 최적으로 조합하여 진짜 사후를 근사할 수 있는가?
• RQ3 모델 수가 많거나 고차원 설정일 경우 제안된 프레임워크가 여전히 적응형 최적성을 유지하는가?
• RQ4 변분 베이즈에서 암묵적 정규화의 역할은 무엇이며, 이를 적응형 프레임워크에서 어떻게 활용할 수 있는가?
• RQ5 딥 뉴럴 네트워크나 희소 요인 모델과 같은 복잡한 모델에서 방법이 최적의 수축률을 달성할 수 있는가?

주요 결과

• 적응형 변분 사후는 비모수적 및 고차원 설정을 포함한 매우 일반적인 조건 하에서도 최적의 사후 수축률을 달성한다.
• 희소 모델 집합과 같은 경우에도 모델 수가 많아도 계산적으로 타당성을 유지한다.
• 모델 선택 기반의 변분 베이즈보다 진짜 사후에 더 가까운 근사를 제공하여 프레임워크가 우월하다.
• 적응형 변분 사후는 변분 베이즈의 암묵적 정규화 효과를 계승하고 이를 활용하여 추정 안정성을 향상시킨다.
• 이론적 결과는 딥 러닝과 희소 요인 모델에서 검증되었으며, 최적의 속도를 갖는 새로운 적응형 추론 결과를 도출했다.
• 미약한 가정 하에서도 방법이 빈도주의 위험 측면에서 최적이며, 수축률이 최소 최대 최적 속도와 일치함을 입증했다.