[論文レビュー] Sinkhorn Natural Gradient for Generative Models

Zebang Shen, Zhenfu Wang+2 more|arXiv (Cornell University)|Nov 9, 2020

Constraint Satisfaction and Optimization参考文献 22被引用数 4

ひとこと要約

この論文は、Sinkhorn散発を測度として用いた確率空間上で勾配降下を実行することにより、生成モデルの学習のための新しい最適化手法であるSinkhorn自然勾配（SiNG）を提案する。従来の自然勾配手法とは異なり、SiNGは精度に応じて対数時間でSinkhorn情報行列（SIM）を計算でき、スコア関数を必要とせず、正確かつ効率的な更新が可能であり、モンテカルロ統合のもとでも安定な経験的推定が得られる。

ABSTRACT

We consider the problem of minimizing a functional over a parametric family of probability measures, where the parameterization is characterized via a push-forward structure. An important application of this problem is in training generative adversarial networks. In this regard, we propose a novel Sinkhorn Natural Gradient (SiNG) algorithm which acts as a steepest descent method on the probability space endowed with the Sinkhorn divergence. We show that the Sinkhorn information matrix (SIM), a key component of SiNG, has an explicit expression and can be evaluated accurately in complexity that scales logarithmically with respect to the desired accuracy. This is in sharp contrast to existing natural gradient methods that can only be carried out approximately. Moreover, in practical applications when only Monte-Carlo type integration is available, we design an empirical estimator for SIM and provide the stability analysis. In our experiments, we quantitatively compare SiNG with state-of-the-art SGD-type solvers on generative tasks to demonstrate its efficiency and efficacy of our method.

研究の動機と目的

• 生成モデルにおける既存の自然勾配手法の限界、特にスコア関数の計算が不可能であることや、Wassersteinに基づく代替手法の高い計算コストを解消すること。
• 生成モデルの確率空間上で直接作用する自然勾配法を設計し、Sinkhorn散発を用いることで再パラメータ化不変性を保証すること。
• ターゲット精度に比例して対数的にスケーリングする、明示的かつ効率的に計算可能なSinkhorn情報行列（SIM）の表現を導出すること。
• 生成分布からのモンテカルロサンプルのみが利用可能な状況で、SIMの安定な経験的推定（eSIM）を設計し、実用的学習におけるロバスト性を確保すること。

提案手法

• Sinkhorn散発を計量とする確率空間上で勾配降下を実行するSiNGを提案し、半径εのSinkhornボール内での関数の最小化の極限として導出する。
• Sinkhorn散発のパラメータθに関するヘッセ行列としてSinkhorn情報行列（SIM）を導出し、O(log(1/ε))の計算量で評価可能であることを示す。
• SIMの評価には生成測度αθからのサンプリングのみを必要とし、Fisher-Rao自然勾配とは異なりスコア関数の評価を不要としていることを示す。
• 経験的Sinkhorn散発のヘッセ行列に基づくSIMの経験的推定（eSIM）を導入し、モンテカルロサンプルのもとでも安定であることを証明する。
• 共役勾配法とPyTorchのautogradを用いて、行列を明示的に構築せずにeSIMを含む行列ベクトル積を効率的に計算する。
• 微分可能Sinkhornソルバー（例：geomlossを介して）を用いて、計算グラフ全体を通してバックプロパゲーションを可能にするため、Sinkhornポテンシャルを暗黙的に構築する。

実験結果

リサーチクエスチョン

• RQ1 生成モデル向けに、スコア関数の計算を回避しつつ再パラメータ化不変性を保つ自然勾配法を設計できるか？
• RQ2 Sinkhorn散発のヘッセ行列（SIM）は閉形式で表現可能であり、計算複雑度も低いか？
• RQ3 生成分布からのモンテカルロサンプルのもとでも安定なSIMの経験的推定が構築可能か？
• RQ4 SiNGの性能は、生成モデルタスクにおける収束速度とサンプル効率の面で、SGD型ソルバーと比較して優れているか？
• RQ5 SiNGの連続時間極限は、深層生成モデルにおけるロバストな最適化を要請する再パラメータ化不変性を保持するか？

主な発見

• Sinkhorn情報行列（SIM）は明示的な表現を有し、所望の精度εに対してO(log(1/ε))の計算量で評価可能であり、正確かつ効率的な更新が可能である。
• 提案されたSiNGアルゴリズムは連続時間極限において再パラメータ化不変性を満たしており、非線形かつ非単射な写像Tθに対してもロバストである。
• SIMの経験的推定eSIMはモンテカルロサンプルのもとでも安定であり、SinkhornポテンシャルのFréchet微分の連続性に基づく収束保証が得られる。
• 実験では、SiNGは、AdamやRMSPropなどの最先端のSGD型ソルバーを上回り、生成モデルベンチマークにおいて学習効率とサンプル品質の両面で優れた性能を示した。
• DC-GANアーキテクチャを用いてCIFAR-10およびCelebAデータセットで学習した際、ベースライン最適化手法と比較して収束が早く、FIDスコアも優れている。
• 実装ではPyTorchのautogradとgeomlossライブラリを活用し、SIMを明示的に構築せずに勾配と行列ベクトル積を効率的に計算している。