[論文レビュー] Flows for Flows: Training Normalizing Flows Between Arbitrary Distributions with Maximum Likelihood Estimation

Samuel Klein, J. A. Raine+1 more|arXiv (Cornell University)|Nov 4, 2022

Model Reduction and Neural Networks被引用数 6

ひとこと要約

この論文は、ベース密度を別の正規化フローでパラメータ化することにより、正確な最尤推定を用いて任意の2つの分布間の正規化フローを訓練する「Flows for Flows」を提案する。この手法により、特に不連続または複雑な分布をモデリングする際に、明示的な正則化を必要とせずに、柔軟で連続的な輸送写像が可能となり、標準的なフローを凌駕する。

ABSTRACT

Normalizing flows are constructed from a base distribution with a known density and a diffeomorphism with a tractable Jacobian. The base density of a normalizing flow can be parameterised by a different normalizing flow, thus allowing maps to be found between arbitrary distributions. We demonstrate and explore the utility of this approach and show it is particularly interesting in the case of conditional normalizing flows and for introducing optimal transport constraints on maps that are constructed using normalizing flows.

研究の動機と目的

• 密度関数が事前に未知であっても、任意の2つの確率分布間で正規化フローを訓練可能にする。
• 標準的な正規分布ベースの分布に起因する問題を回避するため、複雑または不連続な分布のモデリングを改善するために、フローをベース密度として用いる。
• 条件付き設定における Flows for Flows の利用を検討し、異なる条件値における分布間の写像を学習する。
• 最適輸送制約などの正則化戦略を調査し、学習された輸送写像の意味的整合性を向上させる。
• 高次元およびドメインに依存しない設定、特に高エネルギー物理学や拡散モデリングへの応用を含め、Flows for Flows の有効性を示す。

提案手法

• 正規化フローにおけるベース密度を、別の訓練済みの正規化フローに置き換えることで、2つの任意のデータ分布間の直接的な写像を学習可能にする。
• 変数変換の公式を用いて最尤推定によりモデルを訓練し、入力および出力分布の両方の対数尤度を計算する。
• 条件付き分布の場合、フローは条件値の差に応じて条件付けられ、異なる条件における分布間の連続的変換を可能にする。
• 両方向の訓練設定を採用し、両方の $ f_{ ext{flow}}^{-1} $ と $ f_{ ext{flow}} $ が両方の分布からのデータで訓練されることで、ベース密度の品質に依存するのを軽減する。
• 点の移動を最小化するよう促す最適輸送ペナルティを損失関数に導入し、学習された写像の意味的整合性を向上させる。
• フレームワークは、nflows ライブラリ上に構築された ffflows パッケージとして実装されており、任意の分布間のフローのモジュラーや再利用可能な構築を可能にする。

実験結果

リサーチクエスチョン

• RQ1 密度関数が未知であっても、最尤推定を用いて任意の2つの分布間で正規化フローを効果的に訓練できるか？
• RQ2 標準的な正規分布ベースの分布ではなく、フローをベース密度として用いることで、複雑または不連続な分布のモデリングがどの程度改善されるか？
• RQ3 Flows for Flows は、条件付き分布間の輸送写像を学習する際、標準的な条件付き正規化フローをどの程度上回るか？
• RQ4 最適輸送制約などの明示的な正則化が、学習された輸送写像の意味的整合性を向上させられるか？
• RQ5 両方向の訓練設定は、フロー・オブ・フロー枠組みにおけるベース密度の品質に依存するのをどの程度軽減するか？

主な発見

• Flows for Flows は、不連続性を示す分布（例：4つの重複する円の分布）を含め、任意の分布間で連続的かつ可逆的な写像を学習することに成功した。
• 条件付き設定では、標準的な条件付き正規化フローを上回り、写像の連続性のおかげで分布外のサンプルが少なくなる。
• 明示的な正則化がなくても、視覚化における色分けされた点対応から、Flows for Flows モデルが内在的な意味的整合性を持つ写像を学習していることが示された。
• 最適輸送ペナルティの導入は、テストされた設定では性能にほとんど影響を与えず、フロー構造自体がすでに意味のある輸送を促進していることを示唆している。
• 両方向の訓練は、ベース密度の品質に依存するのを軽減し、学習された写像の安定性と一般化性能を向上させた。
• ffflo ws パッケージにより、任意の（条件付き）分布間のフローの構築が容易になり、再現性の向上と新しい応用への展開を促進する。