[論文レビュー] Learning Likelihoods with Conditional Normalizing Flows

Christina Winkler, Daniel E. Worrall+2 more|arXiv (Cornell University)|Nov 29, 2019

Advanced Image Processing Techniques参考文献 39被引用数 55

ひとこと要約

本論文は条件付き分布 pY|X の学習を Conditional Normalizing Flows (CNFs) を用いて実証し、それを超解像と網膜血管セグメンテーションに適用して、マルチモーダルで相関のある出力をモデル化しつつ、競合する尤度と標準指標を達成する。

ABSTRACT

Normalizing Flows (NFs) are able to model complicated distributions p(y) with strong inter-dimensional correlations and high multimodality by transforming a simple base density p(z) through an invertible neural network under the change of variables formula. Such behavior is desirable in multivariate structured prediction tasks, where handcrafted per-pixel loss-based methods inadequately capture strong correlations between output dimensions. We present a study of conditional normalizing flows (CNFs), a class of NFs where the base density to output space mapping is conditioned on an input x, to model conditional densities p(y|x). CNFs are efficient in sampling and inference, they can be trained with a likelihood-based objective, and CNFs, being generative flows, do not suffer from mode collapse or training instabilities. We provide an effective method to train continuous CNFs for binary problems and in particular, we apply these CNFs to super-resolution and vessel segmentation tasks demonstrating competitive performance on standard benchmark datasets in terms of likelihood and conventional metrics.

研究の動機と目的

• 高次元出力において強い手作りの損失関数を用いずに、条件付き分布 pY|X の学習を動機づける。
• 基底分布と可逆写像の両方を X 上で条件付ける CNF を導入する。
• 構造化予測タスクにおいてマルチモーダルで相関する出力をモデル化する能力を示す。
• 離散データに CNF を可能にするためのバイナリ変数向けの変分的デクォンタイズフレームワークを提案する。

提案手法

• x 条件付きの事前分布 pZ|X を用い、 z=fφ(y;x) として pY|X(y|x)=pZ|X(z|x) |det dfφ(y,x)/dy| とする条件付き正規化フローを用いる。
• prior を条件付け、分割した priors と affine coupling 層を x 上で共有表現 h=g(x) を介して条件付ける。
• y を z に流すことにより訓練し、条件付き事前分布の下で対数尤度を最大化して、尤度ベースの最適化を可能にする。
• 離散データに CNF を適用可能にするためのバイナリ変数向けの変分的デクォンタイズフレームワークを提示する。

実験結果

リサーチクエスチョン

• RQ1 高次元予測タスクにおいて、CNF はマルチモーダルで相関する出力を持つ条件付き分布 pY|X(y|x) を効率的にモデルできるのか？
• RQ2 基底密度と可逆変換の両方を x で条件付けることは、因子化されたベースラインよりも尤度とタスク特化指標を改善するのか？
• RQ3 CNF を用いた二値セグメンテーションにおける学習とキャリブレーションに対して、変分的デクォンタイズはどのような影響を与えるのか？
• RQ4 標準ベンチマークで評価した際、超解像と血管セグメンテーションにおける最先端のピクセル損失法と比べて CNF は競争力があるか？

主な発見

• CNFs は ImageNet ベースの超解像で、同等の因子化ベースラインより高い条件付き対数尤度を達成する（例: ImageNet32: CNF 3.01 対 baseline 4.00; ImageNet64: CNF 2.90 対 baseline 3.61）。
• CNF のサンプルは、因子化ベースラインより高周波成分が鋭く、ディテールが鮮明であり、サンプル温度による知覚的調整が可能。
• 標準的な SR ベンチマークで、CNFs は PSNR で競合的または優れ、SSIM はピクセル単位法と同等で、出力の相関をモデル化する利点を示す。
• 網膜血管セグメンテーションでは、二値デクォンタイズCNF が DRIU や HED などの強力な CNN 法と比較してビット/次元と F値で競争力をもち、確率的出力の較正も適切である。
• 本手法は、CNF による尤度学習が、多次元で構造化された予測タスクにおいて手作り損失ベースラインを上回ることを示している。