[論文レビュー] Kernelized Wasserstein Natural Gradient

Michael Arbel, Arthur Gretton+2 more|arXiv (Cornell University)|Oct 21, 2019

Advanced Neuroimaging Techniques and Applications参考文献 50被引用数 5

ひとこと要約

本稿では、再帰的カーネルヒルバート空間（RKHS）における双対定式化を活用することで、ワサーティン距離の自然勾配をスケーラブルに近似するためのKernelized Wasserstein Natural Gradient（KWNG）を提案する。理論的保証とともにより効率的かつ曲率不変の最適化を可能とし、CIFAR-10およびCIFAR-100において、標準的SGDおよび適応的手法よりも優れた性能を示す。特に、条件数が悪いパrametrization下でも顕著な優位性を示す。

ABSTRACT

Many machine learning problems can be expressed as the optimization of some cost functional over a parametric family of probability distributions. It is often beneficial to solve such optimization problems using natural gradient methods. These methods are invariant to the parametrization of the family, and thus can yield more effective optimization. Unfortunately, computing the natural gradient is challenging as it requires inverting a high dimensional matrix at each iteration. We propose a general framework to approximate the natural gradient for the Wasserstein metric, by leveraging a dual formulation of the metric restricted to a Reproducing Kernel Hilbert Space. Our approach leads to an estimator for gradient direction that can trade-off accuracy and computational cost, with theoretical guarantees. We verify its accuracy on simple examples, and show the advantage of using such an estimator in classification tasks on Cifar10 and Cifar100 empirically.

研究の動機と目的

• 高次元の深層学習モデルにおける正確な自然勾配計算の計算不能性に対処すること。
• 滑らかさに依存しないスケーラブルな最適化手法を、ワサーティン距離を用いて開発し、条件数が悪い設定での収束性を向上させること。
• 再帰的カーネルヒルバート空間におけるカーネル近似を通じて、精度と計算コストのトレードオフを可能にする柔軟な推定器を提供すること。
• 困難な最適化の流れを示す教師あり学習タスクにおいて、本手法の精度と有効性を実験的に検証すること。

提案手法

• 本手法は、再帰的カーネルヒルバート空間（RKHS）に制限されたワサーティン距離の双対定式化を用い、自然勾配の閉形式表現を導出する。
• 自然勾配方向を、RKHSにおける凸的関数最適化問題を解くことで近似し、計算を効率化する。
• 推定器はカーネル法と基底関数を活用し、精度と計算コストのトレードオフを実現し、理論的収束保証を有する。
• 訓練の安定化のため、Levenberg-Marquardtダイナミクスを用いてダンピングパラメータを適応的に更新する。
• 同じ双対定式化フレームワークを通じて、ファイシャー・レイメトリックを含む他の距離にも一般化可能である。
• 本手法は、CIFAR-10およびCIFAR-100における残差ネットワークを用いたエンドツーエンド学習の文脈で、教師あり学習に応用される。

実験結果

リサーチクエスチョン

• RQ1 カーネルベースのワサーティン自然勾配近似は、深層学習モデルにおいて計算的に実行可能でありながら高い精度を達成できるか？
• RQ2 条件数が悪いパrametrization下で、提案されたKWNG推定器は、標準的SGDおよびAdamのような適応的手法と比較して、収束速度および一般化性能において優れているか？
• RQ3 カーネル帯域幅および基底関数の数が、自然勾配近似の精度に与える影響は何か？
• RQ4 適応的ダンピングスキームは、実際の訓練における安定性および性能にどのように影響を与えるか？

主な発見

• KWNG推定器は、特に高次元設定下で、ベースライン手法と比較して顕著に低い相対誤差を達成する。
• CIFAR-10およびCIFAR-100において、KWNGはSGDおよびAdamと比較して、訓練およびテスト精度の両方で優れている。特に、条件数が悪い状況で顕著な優位性を示す。
• 標準的SGDよりも収束が早く、Hessianの条件数が高い場合、対角プリコンディショニングやKFACよりも高いテスト精度を達成する。
• 推定器の相対誤差は、サンプルサイズおよび基底関数の数が増加するにつれて減少し、d=1からd=10までの次元で安定した性能を示す。
• 適応的ダンピングは訓練の安定性を向上させ、カーネルの選択（ガウス型 vs. 有理二次型）が性能に影響を及ぼすが、大多数のケースでガウス型カーネルが優れた結果を示す。