[論文レビュー] Information Newton's flow: second-order optimization method in probability space

Yifei Wang, Wuchen Li|arXiv (Cornell University)|Jan 13, 2020

Statistical Mechanics and Entropy参考文献 46被引用数 7

ひとこと要約

本稿では、フィッシャー＝ラオおよびワッサープン=2計量を用いた確率空間における2次最適化手法としての情報ニュートンの流れを導入する。ワッサープン=2計量におけるKL発散のニュートンの流れがニュートンのランジュヴィアンダイナミクスに一致することを示し、アフィンおよびRKHSモデルにおけるサンプリング効率の良い変分法を提案するとともに、近似された方向を用いた収束性を確立し、ベイズ的サンプリング問題における有効性を示している。

ABSTRACT

We introduce a framework for Newton's flows in probability space with information metrics, named information Newton's flows. Here two information metrics are considered, including both the Fisher-Rao metric and the Wasserstein-2 metric. A known fact is that overdamped Langevin dynamics correspond to Wasserstein gradient flows of Kullback-Leibler (KL) divergence. Extending this fact to Wasserstein Newton's flows, we derive Newton's Langevin dynamics. We provide examples of Newton's Langevin dynamics in both one-dimensional space and Gaussian families. For the numerical implementation, we design sampling efficient variational methods in affine models and reproducing kernel Hilbert space (RKHS) to approximate Wasserstein Newton's directions. We also establish convergence results of the proposed information Newton's method with approximated directions. Several numerical examples from Bayesian sampling problems are shown to demonstrate the effectiveness of the proposed method.

研究の動機と目的

• 情報幾何と最適輸送計量を用いた確率空間における2次最適化手法の開発。
• 既知のワッサープン勾配流れと過減衰ランジュヴィアンダイナミクスの対応関係をニュートンの流れへ拡張すること。
• 1次元空間およびガウス族において、ニュートンのランジュヴィアンダイナミクスの解析的解を導出すること。
• 高次元空間におけるサンプリングに基づく手法を用いて、ワッサープン・ニュートン方向の効率的近似を実現するための変分法の設計。
• 近似されたニュートン方向を用いた場合の提案手法の収束保証の確立。

提案手法

• フィッシャー＝ラオおよびワッサープン=2計量をリーマン構造として用いて、確率空間におけるニュートンの流れを導出する。
• KL発散のワッサープン・ニュートン流れがニュートンのランジュヴィアンダイナミクスに一致することを確立し、勾配流れ–ランジュヴィアンダイナミクス対応関係を拡張する。
• 双対変数をアフィン関数空間または再生核ヒルベルト空間（RKHS）に制限することで、ニュートン方向の変分近似を提案する。
• 数値的安定性と効率性を向上させるために、ニュートン方向と勾配方向を組み合わせたハイブリッド更新スキームを導入する。
• ラグランジュの緩和法とKKT条件を用いて、制約下での目的関数最小化のための変分形式を導出する。
• サンプリングに基づく最適化において、弱コンパクト性と変分原理に依拠して、近似されたニュートン方向の収束性を証明する。

実験結果

リサーチクエスチョン

• RQ1 情報計量を用いた確率空間における最適化問題に、ニュートン法を体系的に一般化できるか？
• RQ2 カルバック・ライブラー発散のワッサープン・ニュートン流れの形態は何か？
• RQ3 どのストキャスティック微分方程式がワッサープン・ニュートン流れに対応し、ランジュヴィアンダイナミクスとどのように関係するか？
• RQ4 高次元のサンプル空間において、サンプリングに基づく手法を用いてニュートン方向をどのように効率的に近似できるか？
• RQ5 近似されたニュートン方向を用いた場合の、提案された情報ニュートン法の収束保証はどのようなものか？

主な発見

• KL発散のワッサープン・ニュートン流れは、過減衰ランジュヴィアンダイナミクスを一般化する新しいクラスのストキャスティック微分方程式、すなわちニュートンのランジュヴィアンダイナミクスに対応する。
• 1次元空間およびガウス族において、ニュートンのランジュヴィアンダイナミクスの解析的解が導出され、これらの設定において正確に解けることが示された。
• アフィンモデルおよびRKHSにおける提案された変分法により、ワッサープン・ニュートン方向のサンプリング効率の良い近似が実現され、高次元における計算コストが低減された。
• サンプリングに基づく最適化において、弱コンパクト性と変分原理に依拠して、近似された方向を用いた情報ニュートン法の収束性が厳密に確立された。
• ベイズ的サンプリング問題における数値例から、標準的な1次最適化手法と比較して収束が加速することが示された。
• 確率空間における粒子ベースの更新と2次曲率情報の組み合わせにより、より高いサンプリング効率が達成された。