[논문 리뷰] Information Newton's flow: second-order optimization method in probability space

Yifei Wang, Wuchen Li|arXiv (Cornell University)|2020. 01. 13.

Statistical Mechanics and Entropy참고 문헌 46인용 수 7

한 줄 요약

이 논문은 피셔-라오 및 워샤프르-2 거리 척도를 사용한 확률 공간 내 두 번째 차수 최적화 방법인 정보 뉴턴 흐름을 소개한다. 워샤프르-2 거리 척도에서 KL 발산의 뉴턴 라ング주인 역학을 도출하고, 애핀 및 RKHS 모델에서 샘플링 효율적인 변분 방법을 제안하며, 근사된 방향을 사용한 수렴성을 확립하여 베이지안 샘플링 문제에서의 효과성을 입증한다.

ABSTRACT

We introduce a framework for Newton's flows in probability space with information metrics, named information Newton's flows. Here two information metrics are considered, including both the Fisher-Rao metric and the Wasserstein-2 metric. A known fact is that overdamped Langevin dynamics correspond to Wasserstein gradient flows of Kullback-Leibler (KL) divergence. Extending this fact to Wasserstein Newton's flows, we derive Newton's Langevin dynamics. We provide examples of Newton's Langevin dynamics in both one-dimensional space and Gaussian families. For the numerical implementation, we design sampling efficient variational methods in affine models and reproducing kernel Hilbert space (RKHS) to approximate Wasserstein Newton's directions. We also establish convergence results of the proposed information Newton's method with approximated directions. Several numerical examples from Bayesian sampling problems are shown to demonstrate the effectiveness of the proposed method.

연구 동기 및 목표

• 정보 기하학과 최적 운반 척도를 사용한 확률 공간 내 두 번째 차수 최적화 방법을 개발한다.
• 기존의 워샤프르-2 기울기 흐름과 과다진동 없는 라ング주인 역학 간의 상관관계를 뉴턴 흐름으로 확장한다.
• 일차원 공간 및 가우시안 가족에서 뉴턴 라ング주인 역학의 해석적 해를 유도한다.
• 고차원 공간에서 샘플 기반 방법을 사용해 워샤프르-2 뉴턴 방향을 효율적으로 근사하기 위한 샘플링 효율적인 변분 방법을 설계한다.
• 근사된 뉴턴 방향을 사용한 제안된 방법의 수렴 보장을 확립한다.

제안 방법

• 피셔-라오 및 워샤프르-2 거리 척도를 리만 기하학적 구조로 사용해 확률 공간 내 뉴턴 흐름을 유도한다.
• 워샤프르-2 거리 척도에서 KL 발산의 뉴턴 흐름이 뉴턴 라ング주인 역학과 일치함을 입증하며, 기존의 기울기 흐름–라ング주인 역학 상관관계를 확장한다.
• 이중 변수를 애핀 함수 공간 또는 재생 커널 힐버트 공간(RKHS)으로 제한함으로써 뉴턴 방향의 변분 근사를 제안한다.
• 수치적 안정성과 효율성을 향상시키기 위해 뉴턴 및 기울기 방향을 조합한 하이브리드 업데이트 방식을 도입한다.
• 라그랑주 완화 및 KKT 조건을 사용해 제약 조건 하에 목적 함수를 최소화하기 위한 변분 공식을 도출한다.
• 샘플링 기반 최적화 하에서 근사된 뉴턴 방향의 수렴성을 증명하기 위해 반바흐-알라오글루 및 약한 순차적 컴actness 추론을 적용한다.

실험 결과

연구 질문

• RQ1 정보 척도를 사용해 뉴턴 방법을 확률 공간 내 최적화 문제에 체계적으로 일반화할 수 있는가?
• RQ2 클로이브-레일리 발산의 워샤프르-2 뉴턴 흐름의 형태는 무엇인가?
• RQ3 워샤프르-2 뉴턴 흐름과 대응하는 확률적 미분 방정식은 무엇이며, 라ング주인 역학과의 관계는 어떻게 되는가?
• RQ4 고차원 샘플링 공간에서 샘플링 기반 방법을 사용해 뉴턴 방향을 어떻게 효율적으로 근사할 수 있는가?
• RQ5 근사된 뉴턴 방향을 사용한 제안된 정보 뉴턴 방법에 대해 어떤 수렴 보장을 확보할 수 있는가?

주요 결과

• KL 발산의 워샤프르-2 뉴턴 흐름은 새로운 유형의 확률적 미분 방정식, 즉 뉴턴 라ング주인 역학으로 표현되며, 과다진동 없는 라ング주인 역학을 일반화한다.
• 일차원 공간 및 가우시안 가족에서 뉴턴 라ング주인 역학의 해석적 해가 도출되어 이들 설정에서 정확한 해법 가능성을 입증한다.
• 애핀 모델 및 RKHS에서 제안된 변분 방법은 워샤프르-2 뉴턴 방향의 샘플링 효율적인 근사를 제공하여 고차원에서의 계산 비용을 감소시킨다.
• 샘플링 기반 최적화 하에서 근사된 방향을 사용한 정보 뉴턴 방법의 수렴성이 약한 컴팩트성과 변분 원리에 기반해 엄밀히 증명된다.
• 베이지안 샘플링 문제에서의 수치 예제는 표준 일차 최적화 방법보다 수렴 속도 향상을 보임을 보여준다.
• 두 번째 차수 곡률 정보와 확률 공간 내 입자 기반 업데이트를 조합함으로써 샘플링 효율성이 향상된다.