[論文レビュー] Maximum Entropy Flow Networks

Gabriel Loaiza-Ganem, Yuanjun Gao+1 more|arXiv (Cornell University)|Jan 12, 2017

Gaussian Processes and Bayesian Inference参考文献 26被引用数 8

ひとこと要約

本稿では、与えられたモーメント制約を満たす最大エントロピー分布への滑らかで可逆な変換を学習する深層学習フレームワーク、Maximum Entropy Flow Networks (MEFN) を提案する。正規化フローと増分ラグランジュ法を用いた制約付き確率的最適化により、計算が困難な正規化定数を回避し、正確なサンプリングと密度推定を効率的に行える。この手法は、テクスチャ生成におけるサンプルの多様性を著しく向上させるとともに、オプション価格の正確なフィッティングにも成功する。

ABSTRACT

Maximum entropy modeling is a flexible and popular framework for formulating statistical models given partial knowledge. In this paper, rather than the traditional method of optimizing over the continuous density directly, we learn a smooth and invertible transformation that maps a simple distribution to the desired maximum entropy distribution. Doing so is nontrivial in that the objective being maximized (entropy) is a function of the density itself. By exploiting recent developments in normalizing flow networks, we cast the maximum entropy problem into a finite-dimensional constrained optimization, and solve the problem by combining stochastic optimization with the augmented Lagrangian method. Simulation results demonstrate the effectiveness of our method, and applications to finance and computer vision show the flexibility and accuracy of using maximum entropy flow networks.

研究の動機と目的

• 連続的な最大エントロピー分布のモーメント制約下での効率的サンプリングという長年の課題に取り組む。
• 従来の最大エントロピーモデリングにおける正規化定数の計算困難さとバイアスのあるエントロピー推定器の問題を克服する。
• 最大エントロピー分布からの正確な密度推定と信頼性の高い独立同分布（iid）サンプリングを可能にする。
• 正規化フローのアーキテクチャと統合することで、最大エントロピーモデリングの有用性を深層生成モデリングに拡張する。
• 既存手法を上回る性能を示す、構造的品質を保ちつつサンプルの多様性を向上させるテクスチャ生成を実現する。

提案手法

• 最大エントロピー密度推定を、標準正規分布から目的分布への滑らかで可逆な変換のパrameterに関する制約付き最適化問題として定式化する。
• 正規化フローを用いることでヤコビアン行列式の計算が容易になり、変数変換の公式により密度の正確な計算が可能になる。
• エントロピー目的関数を確率的最適化と増分ラグランジュ法を組み合わせて最適化し、モーメント制約を満たす。
• 直接計算が困難な正規化定数を避けるために、最大エントロピー分布を暗黙的に定義するフローを学習する。
• 一度の順方向伝搬で密度推定と効率的なiidサンプリングの両方を実現する。
• ラグランジュ乗数を増分ラグランジュフレームワークで制御しながら、勾配ベース最適化によりエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 正規化定数の計算が困難であるにもかかわらず、深層生成モデルが正規化定数を明示的に計算せずに最大エントロピー分布を学習できるか？
• RQ2 正規化フローを制約付き最適化と効果的に組み合わせることで、連続空間における最大エントロピー問題を解けるか？
• RQ3 フローベース変換を学習することで、従来の深層生成モデルと比較してテクスチャ生成におけるサンプルの多様性と品質が向上するか？
• RQ4 MEFNは、高い正確性と効率的なサンプリングを備えて、株式オプション価格分布のような複雑な現実世界の分布を高精度でフィットできるか？
• RQ5 本フレームワークは、従来の最大エントロピー手法の制限を克服し、正確な密度推定と効率的なiidサンプリングを両立できるか？

主な発見

• MEFNは、計算が困難な正規化定数を必要としないが、古典的手法のギブス分布と同等の密度推定とサンプリング性能を達成する。
• テクスチャ生成において、MEFNはベースラインと比較して生成画像間の平均ペairワイズL2距離が47%増加（17,014 vs. 11,534）し、顕著なサンプル多様性の向上を示す。
• MEFNはグループ内平方和（SSW = 161,639）が大きく、グループ間平方和（SSB = 13,964）が小さく、多様性が高く、モード崩壊が少ないことを示している。
• 全平方和（SST）はMEFNで175,604、ベースラインで128,680であり、生成画像全体のばらつきが顕著に大きいことが確認された。
• MEFNは、高い正確性で株式オプション価格分布をフィットでき、金融モデリング応用における有効性を示した。
• 本手法は、一度の順方向伝搬で正確でバイアスのない密度推定と効率的なiidサンプリングを可能にし、高次元におけるバイアスのあるエントロピー推定器（例：Kozachenko-Leonenko）の制限を克服した。