[논문 리뷰] Fast Black-box Variational Inference through Stochastic Trust-Region Optimization

Jeffrey Regier, Michael I. Jordan외 1명|arXiv (Cornell University)|2017. 06. 07.

Stochastic Gradient Optimization Techniques참고 문헌 12인용 수 6

한 줄 요약

TrustVI는 재생가능성 트릭을 사용한 확률적 트러스트 영역 최적화를 통해 빠르고 두 번째 차수의 블랙박스 변분 추론 알고리즘으로, 일반적으로 ADVI보다 10배 이상 빠르게 수십 번의 반복 내에 수렴하며, 정류점으로 수렴함을 증명할 수 있고, 헤시안을 고려하지 않는 확률적 경량 방법인 HFSGVI보다 더 나은 변분 근사값을 찾을 수 있다.

ABSTRACT

We introduce TrustVI, a fast second-order algorithm for black-box variational inference based on trust-region optimization and the reparameterization trick. At each iteration, TrustVI proposes and assesses a step based on minibatches of draws from the variational distribution. The algorithm provably converges to a stationary point. We implemented TrustVI in the Stan framework and compared it to two alternatives: Automatic Differentiation Variational Inference (ADVI) and Hessian-free Stochastic Gradient Variational Inference (HFSGVI). The former is based on stochastic first-order optimization. The latter uses second-order information, but lacks convergence guarantees. TrustVI typically converged at least one order of magnitude faster than ADVI, demonstrating the value of stochastic second-order information. TrustVI often found substantially better variational distributions than HFSGVI, demonstrating that our convergence theory can matter in practice.

연구 동기 및 목표

• 블랙박스 변분 추론에서 확률적 일阶 최적화의 느린 수렴 문제를 해결한다. 일반적으로 수천 번의 반복이 필요하다.
• HFSGVI와 같은 기존의 두 번째 차수 방법의 한계를 극복한다. 이는 수렴 보장을 갖추지 못하고, 큰, 유계되지 않은 단계로 인해 수치적 불안정성이 발생하기 때문이다.
• 트러스트 영역 원칙과 재생가능성 트릭을 융합한 확률적 두 번째 차수 최적화 프레임워크를 개발하여 확장 가능하고 신뢰할 수 있는 변분 추론을 실현한다.
• 변분 추론의 맥락에서 비볼록 확률적 최적화에 대한 이론적 수렴 보장을 제공하여 곡률과 확률적 요동에 대한 강건성을 확보한다.
• 수렴 이론이 실용적 성능 향상으로 이어짐을 입증한다. 첫째, 수렴 속도와 해의 품질 면에서 둘 다 첫째, 일阶 및 히우리스틱 두 번째 차수 기준선을 능가한다.

제안 방법

• 단계 크기를 적응적으로 제어하기 위해 트러스트 영역 최적화를 사용하여, 수치적 오버플로우 또는 목적 함수 열악화를 유도하는 단계를 거부한다.
• 기본 분포에서 독립적이고 동일하게 분포된 임의의 추출을 사용해 ELBO의 확률적 기울기 추정을 가능하게 하기 위해 재생가능성 트릭을 활용한다.
• 전체 헤시안을 형성하지 않고도 효율적으로 두 번째 차수 정보를 계산하기 위해 정방향 모드 자동 미분을 사용해 헤시안-벡터 곱을 근사한다.
• 스토캐스틱 헤시안과 기울기 추정의 충분한 정확도를 확보하기 위해, 제안된 단계 평가를 위한 샘플링 레이트를 호프딩 부등식을 사용해 동적으로 조정한다.
• 이중 단계 최적화 전략을 통합한다. 첫 번째 단계는 여러 후보에 대해 50개의 SGD 반복을 통해 학습률 적응 단계이며, 두 번째 단계는 최고 성능을 보인 학습률을 사용해 전체 TrustVI 최적화를 수행한다.
• 음의 곡률에 강건한 트러스트 영역 업데이트를 적용하여, 뉴턴 유형 방법이 실패할 수 있는 비볼록 영역에서도 내림차순을 보장한다.

실험 결과

연구 질문

• RQ1 두 번째 차수 정보를 갖춘 확률적 트러스트 영역 최적화가, ADVI와 같은 일阶 방법에 비해 블랙박스 변분 추론의 수렴 속도를 크게 향상시킬 수 있는가?
• RQ2 확률적 두 번째 차수 방법에 수렴 보장을 포함함으로써, 히우리스틱 두 번째 차수 접근 방식인 HFSGVI보다 실용적 성능이 향상되는가?
• RQ3 TrustVI의 스트로스틱 헤시안 및 기울기 추정을 위한 적응형 샘플링 전략이 수렴 안정성과 계산 효율성에 어떤 영향을 미치는가?
• RQ4 HFSGVI가 수치적 오버플로우로 인해 실패하는 경우를 고려할 때, TrustVI는 어떤 시나리오에서 수렴 속도와 최종 ELBO 값 면에서 HFSGVI를 능가하는가?
• RQ5 TrustVI의 이론적 수렴 보장이 다양한 베이지안 모델 전반에서 실용적 강건성과 향상된 해 품질로 이어지는 정도는 어느 정도인가?

주요 결과

• TrustVI는 137개 모델 중 136개(99%)에서 ADVI보다 적어도 한 계급 빠르게 수렴했으며, 대규모 베이지안 모델 컬렉션 전반에서 일반적으로 ADVI보다 최소한 한 계급 이상 더 빠른 수렴 속도를 보였다.
• 69개 모델(50%)에서는 TrustVI가 ADVI보다 최소 12배 더 빠르게 수렴했고, 34개 모델(25%)에서는 최소 36배 더 빠르게 수렴했다.
• 183개 모델 중 126개 모델(69%)에서는 TrustVI와 ADVI가 중앙값 최적 ELBO 값을 유의미하게 다르게 찾지 못했지만, TrustVI가 51개 모델(28%)에서 ADVI를 능가했고, 단지 6개 모델(3%)에서만 뒤지지 않았다.
• 160개 모델 중 51개 모델(28%)에서 TrustVI는 해 품질 면에서 HFSGVI를 능가했으며, HFSGVI는 수치적 오버플로우로 인해 23개 모델에서 수렴하지 못해 분석에서 제외되었다.
• HFSGVI가 일부 모델에서 초기 단계에서 더 빠른 진전을 보였음에도 불구하고, TrustVI는 트러스트 영역 거부를 통해 나쁜 단계를 항상 피함으로써 더 안정적이고 고급도의 해를 도출했다.
• TrustVI의 수렴 보장은 실용적으로 의미가 있었다. HFSGVI의 불안정성은 피했고, HFSGVI가 실패하거나 목적 함수를 열악하게 만들었던 모델의 1/3 이상에서 TrustVI는 더 높은 중앙값 ELBO 값을 달성했다.