[論文レビュー] A Method to Model Conditional Distributions with Normalizing Flows

Zhisheng Xiao, Qing Yan+1 more|arXiv (Cornell University)|Nov 5, 2019

Generative Adversarial Networks and Image Synthesis参考文献 14被引用数 5

ひとこと要約

本論文は、逆問題や条件付き生成のための効率的で安定した学習を可能にする、単一の統一的尤度損失を用いた、条件付き分布をモデル化するための新しい正規化フロー手法を提案する。この手法は、任意の重み付けが不要なアドホックな損失重み付けを必要とせず、先行手法が感度の高いハイパーパrameterを伴う複数の損失項に依存するのとは異なり、最先端の性能を達成する。

ABSTRACT

In this work, we investigate the use of normalizing flows to model conditional distributions. In particular, we use our proposed method to analyze inverse problems with invertible neural networks by maximizing the posterior likelihood. Our method uses only a single loss and is easy to train. This is an improvement on the previous method that solves similar inverse problems with invertible neural networks but which involves a combination of several loss terms with ad-hoc weighting. In addition, our method provides a natural framework to incorporate conditioning in normalizing flows, and therefore, we can train an invertible network to perform conditional generation. We analyze our method and perform a careful comparison with previous approaches. Simple experiments show the effectiveness of our method, and more comprehensive experimental evaluations are undergoing.

研究の動機と目的

• 条件付き分布をモデル化する正規化フローのための統一的で単一の損失による学習フレームワークを構築し、任意の重み付けが施された複数の損失項の必要性を回避すること。
• 可逆ニューラルネットワークを用いて観測データが与えられたもとでの潜在変数の後方分布を学習することで、逆問題における有効な推論を可能にすること。
• 特定の入力を条件として用いる画像の色付けや画像対画像変換などの条件付き生成タスクを支援するため、入力に条件付けられたデータの分布を学習すること。
• 正規化フローにおける条件付けを自然かつスケーラブルに統合するフレームワークを提供し、モデリングおよび生成能力の両方を強化すること。
• 複雑な損失組み合わせやハイパーパrameterチューニングに依存する先行手法と比較して、本手法のロバスト性と性能を実証的に検証すること。

提案手法

• 本手法は、可逆ニューラルネットワークを用いて単純な事前分布から複雑な条件付き分布への変換をモデル化する条件付き正規化フローを用いる。
• 変数変換の公式を用いて条件付き密度を定式化し、データの対数尤度を潜在変数の対数尤度とフローのヤコビアン行列式の対数の和として計算する。
• 入力変数に条件付けられた結合層を用いてフローを構築し、入力を部分に分割し、一方の部分を他方の部分に基づいて変換することで、計算可能な可逆性とヤコビアンの計算を可能にする。
• 複数の損失項や手動によるハイパーパrameterチューニングを回避するため、単一の損失関数を用いて後方尤度を最大化することでモデルを学習する。
• 同じ可逆アーキテクチャを用いて、後方推定（後方分布推定）と生成（条件付き分布からのサンプリング）の両方を可能にする。
• 微分可能な条件付けを可能にし、学習安定性を向上させるために、緩和されたワンホットラベルを条件変数として統合する。

実験結果

リサーチクエスチョン

• RQ1 複数の損失項と任意の重み付けに依存せずに、条件付き分布のための正規化フローを学習するための単一で統一的な尤度損失を用いることは可能か？
• RQ2 本手法は、逆問題解決に複数の損失成分を用いる先行手法と比較して、どのように異なるか？
• RQ3 提案された条件付き正規化フローは、分類ラベルや画像特徴などの特定の入力に条件付けられた高品質なサンプルを効果的に生成できるか？
• RQ4 ハイパーパrameterの摂動や損失項の削除に対して、本手法は先行手法とは異なり、ロバストな性能を維持できるか？
• RQ5 本手法は、条件付き生成と後方分布推定のためのエンドツーエンドの推論ネットワークとして、どの程度の役割を果たせるか？

主な発見

• 混合実験において、本手法は、慎重なチューニングを要する複数の損失項を用いる先行手法と同等の精度で後方分布をほぼ正確に回復した。
• キーロス成分（例：逆方向損失）を削除するか、その重みを変更すると、先行手法は顕著な性能低下を示すが、本手法は単一の損失で安定した性能を維持する。
• MNISTおよびFashion-MNISTデータセット上で、分類ラベルに条件付けられた明確で多様なサンプルを生成し、全クラスにわたり高品質な視覚的品質を示した。
• 前向きパスを推論ネットワークとして用いることで、MNISTでは98.4%、Fashion-MNISTでは90.1%の分類精度を達成した。これは、生成を超えた実用的価値を示している。
• 固定されたz（潜在変数）が異なるラベルに対して一貫したスタイルを生成することから、スタイル（zによるもの）と分類ラベルの分離が視覚的に確認された。
• 本手法は、正規化フローにおける条件付けのための自然かつスケーラブルなフレームワークを提供し、単一のアーキテクチャ内で後方分布推定と条件付き生成の両方を可能にした。