[論文レビュー] Relaxing Bijectivity Constraints with Continuously Indexed Normalising Flows

Rob Cornish, Anthony L. Caterini+2 more|arXiv (Cornell University)|Sep 30, 2019

Generative Adversarial Networks and Image Synthesis参考文献 56被引用数 22

ひとこと要約

この論文は、一様な双射変換の代わりに連続的にインデックス付けされた双射の族を用いる、新しい正規化フロー枠組みであるContinuously Indexed Flows (CIFs)を導入する。これにより、非自明なトポロジーを持つ複雑なターゲット分布の正確なモデリングが可能になる。標準的なフローとは異なり、CIFsは任意に大きな双リプシッツ定数を必要とせず、より良い尤度とサポート回復が達成され、標準的なフローに比べて層数が少ない状況でも、トポロジカルに複雑なデータに対して優れた性能を示す。

ABSTRACT

We show that normalising flows become pathological when used to model targets whose supports have complicated topologies. In this scenario, we prove that a flow must become arbitrarily numerically noninvertible in order to approximate the target closely. This result has implications for all flow-based models, and especially Residual Flows (ResFlows), which explicitly control the Lipschitz constant of the bijection used. To address this, we propose Continuously Indexed Flows (CIFs), which replace the single bijection used by normalising flows with a continuously indexed family of bijections, and which can intuitively "clean up" mass that would otherwise be misplaced by a single bijection. We show theoretically that CIFs are not subject to the same topological limitations as normalising flows, and obtain better empirical performance on a variety of models and benchmarks.

研究の動機と目的

• 複雑なサポートを持つターゲットをモデリングする際、標準的な正規化フローが示す根本的なトポロジカル制限を特定すること。
• 標準的なフローが、トポロジカルに複雑なターゲットを近似するためには、数値的に非可逆的（双リプシッツ定数 → ∞）になる必要があることを示すこと。
• これらのトポロジカル制限を回避する新しい正規化フローのクラス、すなわちContinuously Indexed Flows (CIFs)を提案すること。
• CIFsが、任意に大きな双リプシッツ定数を必要とせずに、複雑なサポートを正確にモデリングできることを示すこと。
• CIFsをテーブルデータ、画像、2次元データに対して実証的に検証し、標準的なフローに比べて尤度とサンプル品質が向上することを示すこと。

提案手法

• CIFsは、標準的な正規化フローを一般化し、1つの双射 f を、連続的にインデックス付けされた双射の族 {F(⋅;u)}u∈U に置き換える。ここで u は連続的なインデックスである。
• モデルは、変換を条件づけるための潜在変数 u ∈ U を用いる。これにより、フローは質量を適切なトポロジカルな配置に動的に再ルーティングできる。
• インデックス u は、各フローレイヤーの潜在空間と同じ次元を持つ、学習可能な連続変数としてモデル化される。
• 正確な尤度計算が連続インデックスのおかげで困難であるため、変分近似を用いて尤度を推定する。
• CIFsは、カップリングレイヤー、リーマンブロック、自己回帰的フローといった標準的なフローコンponentsと統合され、変換とインデックスマッピングを別個のニューラルネットワークでパラメータ化する。
• インデックスネットワーク Uℓ は、潜在変数 Zℓ の次元に合わせてアップサンプリングされ、チャンネルごとの条件付き処理が可能になる。

実験結果

リサーチクエスチョン

• RQ1 標準的な正規化フローは、複数の連結成分や穴を持つような、トポロジカルに複雑なサポートを持つターゲット分布を正確にモデリングできるか？
• RQ2 フローの双リプシッツ定数と、トポロジカルに複雑なターゲットを近似する能力との間には、理論的にどのような関係があるか？
• RQ3 トポロジカルに複雑な分布をモデリングする際、任意に大きな双リプシッツ定数を必要としないフローアーキテクチャは可能か？
• RQ4 連続的にインデックス付けされた双射の族は、標準的なフローに比べて、より良いサポート回復と尤度推定を可能にするか？
• RQ5 CIFsは、標準的なフローに比べて、層数を減らしても複雑な密度推定タスクで優れた性能を達成できるか？

主な発見

• 論文は、トポロジカルに複雑なサポートを持つターゲット分布を近似するためには、標準的な正規化フローが双リプシッツ定数が無限大に近づく必要があることを証明している。これは、数値的に非可逆的であることを意味する。
• 非自明なトポロジーを持つ2次元データセットでは、10層のCIF-ResFlowがテスト尤度-1.409を達成し、100層のResFlow（-1.419）と10層のResFlow（-1.501）を上回った。
• スパイラルデータセットでは、5層のCIF-MAF（パラメータ数119,910）が、20層のMAF（160,160パラメータ）を上回り、さらに大きな20層のMAFは学習中に発散した。
• Fashion-MNISTおよびCIFAR-10では、607万パラメータのCIF-RealNVPが、305万パラメータの標準的なRealNVPよりも優れたサンプル品質と高い尤度を達成した。
• 2次元データセットにおいて、CIF-ResFlowは100層のResFlowよりも高い平均テスト尤度を達成し、CIFsでは層数を減らしても効果的であることが示された。
• CIFsは、ねじれた形状や非連結なサポートといった複雑なトポロジーを、任意の成分変換で無限大の双リプシッツ定数を必要とせずに正確に回復できた。