[논문 리뷰] Provable Smoothness Guarantees for Black-Box Variational Inference

Justin Domke|arXiv (Cornell University)|2019. 01. 24.

Sparse and Compressive Sensing Techniques참고 문헌 39인용 수 6

한 줄 요약

이 논문은 위치-스케일 가족을 사용한 블랙박스 변분 추론에서 증명 가능한 부드러움 보장을 수립한다: 만약 잠재 변수에서의 로그-대상 밀도가 M-리프시츠 연속 부드러움이라면, ELBO의 에너지 항 역시 변분 매개수에서 M-부드러움을 갖는다. 이 결과는 기울기 기반 최적화의 수렴 보장을 가능하게 하며, 최적 공분산 행렬에 대한 경계를 제공하여 실무에서 수치적 안정성을 보장한다.

ABSTRACT

Black-box variational inference tries to approximate a complex target distribution though a gradient-based optimization of the parameters of a simpler distribution. Provable convergence guarantees require structural properties of the objective. This paper shows that for location-scale family approximations, if the target is M-Lipschitz smooth, then so is the objective, if the entropy is excluded. The key proof idea is to describe gradients in a certain inner-product space, thus permitting use of Bessel's inequality. This result gives insight into how to parameterize distributions, gives bounds the location of the optimal parameters, and is a key ingredient for convergence guarantees.

연구 동기 및 목표

• 블랙박스 변분 추론에서 M-부드러운 로그-대상 밀도가 변분 매개수에서 ELBO 에너지 항의 M-부드러움을 유도한다는 것을 증명함으로써 이론적 간극을 메운다.
• 특히 공분산 행렬의 고유값에 대한 하한을 포함한 최적 변분 매개수의 매개수 공간 제약 조건을 유도한다.
• 블랙박스 VI에서 순수 기울기 하강법이 때로 큰 '점프'를 일으키는 이유를 설명한다.
• 비볼록 블랙박스 VI에서 투영 및 프락시멀 기울기 방법의 사용에 대한 이론적 근거를 제공한다.
• 특정 변분 가족에 종속되지 않는 일반 위치-스케일 가족으로 부드러움 및 강凸성 결과를 확장한다.

제안 방법

• 기울기의 내적 공간 표현을 활용하여, 에너지 항의 기울기 차이를 유 bounds하기 위해 베셀 부등식을 적용한다.
• 분포가 표준화된 기본 분포의 위치-스케일 변환인 위치-스케일 가족에 초점을 맞춘다.
• 잠재 변수에서의 로그-합밀도가 M-리프시츠 연속 부드러움이라면, 에너지 항의 부드러움을 유도한다.
• 매개수 공간을 제한하여 부드러움을 보장하는 투영 기울기 하강법을 제안하며, 유도된 경계 하에서 수렴 보장을 확보한다.
• 엔트로피 항의 비부드러움을 정규화 항을 통해 명시적으로 고려하는 프락시멀 기울기 방법을 도입한다.
• 사전에 계산된 일변도 적분 기반의 기울기 추정기로 합성 및 실재 데이터셋을 사용한 로지스틱 회귀 및 선형 회귀 모델에서 이론적 결과를 실증적으로 검증한다.

실험 결과

연구 질문

• RQ1 위치-스케일 가족을 사용할 때, 잠재 변수에서 M-부드러운 로그-대상 밀도를 갖는다면, ELBO의 에너지 항이 변분 매개수에서 언제 M-부드러움을 갖는가?
• RQ2 로그-대상의 부드러움에 기반하여, 최적 변분 매개수, 특히 공분산 행렬의 고유값에 대한 경계를 도출할 수 있는가?
• RQ3 정확한 기울기를 사용함에도 불구하고, 블랙박스 VI에서 순수 기울기 하강법이 때로 큰 '점프'를 일으키는 이유는 무엇인가?
• RQ4 투영 또는 프락시멀 기울기 방법은 비부드러운 ELBO 최적화에서 수렴 안정성을 향상시킬 수 있는가?
• RQ5 강凸성의 로그-대상이 매개수 공간에서 에너지 항의 강凸성으로 이어지는가?

주요 결과

• 잠재 변수에서 로그-대상 밀도가 M-리프시츠 연속 부드러움이라면, 위치-스케일 가족에서 ELBO의 에너지 항 역시 변분 매개수에서 M-부드러움을 갖는다.
• 최적 매개수에서 변분 공분산 행렬의 모든 고유값은 1/M 이상으로 하한이 정해지며, 이는 작은 분산으로 인한 수치적 불안정성을 방지한다.
• 단계 크기가 1/(2M)인 투영 기울기 하강법은 수렴함을 확인하며, 이는 최적 매개수가 매개수 공간의 부드러운 영역 내에 있음을 시사한다.
• 단계 크기가 1/M인 프락시멀 기울기 하강법은 수렴하며, 공분산이 클 경우 엔트로피 항의 국소 선형성으로 인해 순수 기울기 하강법과 동일한 행동을 보인다.
• 강凸성의 로그-대상에 대해 에너지 항은 매개수 공간에서 또한 강凸성임을 보이며, 추가적인 수렴 보장을 제공한다.
• 실증 결과는 초기 공분산이 작은 경우 난이도 기울기 하강법이 수렴하지 못함을 확인하며, 투영 및 프락시멀 방법은 안정성을 유지함을 보여준다.