[논문 리뷰] Learning Likelihoods with Conditional Normalizing Flows

Christina Winkler, Daniel E. Worrall외 2명|arXiv (Cornell University)|2019. 11. 29.

Advanced Image Processing Techniques참고 문헌 39인용 수 55

한 줄 요약

본 논문은 Conditional Normalizing Flows(CNFs)를 사용하여 조건부 분포 pY|X를 학습하고 이를 초해상도(super-resolution)와 망막 혈관 분할에 적용하여 다모드이고 상관된 출력을 모델링하는 동시에 경쟁력 있는 가능도와 표준 지표를 달성한다.

ABSTRACT

Normalizing Flows (NFs) are able to model complicated distributions p(y) with strong inter-dimensional correlations and high multimodality by transforming a simple base density p(z) through an invertible neural network under the change of variables formula. Such behavior is desirable in multivariate structured prediction tasks, where handcrafted per-pixel loss-based methods inadequately capture strong correlations between output dimensions. We present a study of conditional normalizing flows (CNFs), a class of NFs where the base density to output space mapping is conditioned on an input x, to model conditional densities p(y|x). CNFs are efficient in sampling and inference, they can be trained with a likelihood-based objective, and CNFs, being generative flows, do not suffer from mode collapse or training instabilities. We provide an effective method to train continuous CNFs for binary problems and in particular, we apply these CNFs to super-resolution and vessel segmentation tasks demonstrating competitive performance on standard benchmark datasets in terms of likelihood and conventional metrics.

연구 동기 및 목표

• 고차원 출력에서 강력한 수작업 설계 손실 없이 조건부 분포 pY|X를 학습하도록 동기를 부여한다.
• X에 의해 기저 분포와 가역 변환 모두를 조건화하는 CNF를 도입한다.
• 구조화된 예측 과제에서 다모드이고 상관된 출력을 모델링하는 능력을 시연한다.
• 이진 변수에 CNFs를 가능하게 하는 이변분적 탈양자화(Variational Dequantization) 프레임워크를 제시한다.

제안 방법

• 조건부 정규 흐름 pY|X(y|x)=pZ|X(z|x)|det dfφ(y,x)/dy|를 사용하되 z=fφ(y;x) 및 x에 조건화된 사전분포 pZ|X를 둔다.
• 공유 표현 g(x)로 x에 대해 조건화된 사전분포, 분할된 사전분포, 그리고 선형 결합 계층(affine coupling layers)을 조건화한다.
• 조건부 사전분포 하에서 로그 가능도(log-likelihood)를 최대화하며 y를 z로 흐르게 하여 학습하고, 가능도 기반 최적화를 가능하게 한다.
• 이진 변수에 CNFs를 가능하게 하는 이변분적 탈양자화를 확장하고, v와 y 사이의 지지 집합을 맞추기 위해 반무한대 노이즈를 도입한다.

실험 결과

연구 질문

• RQ1 CNFs는 고차원 예측 작업에서 다모드이고 상관된 출력을 가진 조건부 분포 pY|X(y|x)를 효율적으로 모델링할 수 있는가?
• RQ2 기저 밀도와 가역 변환을 모두 x에 조건화하는 것이 요약 baselines보다 가능도와 작업 지표를 개선하는가?
• RQ3 CNFs에서 이진 분할에 대한 학습과 보정(calibation)에 변분 탈양자화가 어떤 영향을 미치는가?
• RQ4 표준 벤치마크에서 SR 및 혈관 분할에서 CNFs가 상태-of-the-art 픽셀 손실 방법과 경쟁하는가?

주요 결과

• CNF는 ImageNet 기반 초해상도에서 비교 가능한 분해 기반(baseline)보다 더 높은 조건부 로그 가능도를 달성한다(예: ImageNet32: CNF 3.01 대 Baseline 4.00; ImageNet64: CNF 2.90 대 Baseline 3.61).
• CNF 샘플은 고주파 콘텐츠가 더 선명하고 디테일이 더 또렷하며, 샘플링 온도에 의한 지각적 조정이 가능하다.
• 표준 SR 벤치마크에서 CNF는 PSNR에서 경쟁력 있거나 우수하고, SSIM은 픽셀 단위 방법과 비슷하여 출력 간 상관관계 모델링의 이점을 보여준다.
• 망막 혈관 분할에서 이진 탈양자화 CNF는 DRIU 및 HED와 같은 강력한 CNN 기반 방법과 비교해 비트/차원 및 F-점수에서 경쟁력을 보이며, 잘 보정된 확률 출력을 제공한다.
• 이 방법은 CNFs로 가능도를 학습하는 것이 다차원적이고 구조화된 예측 작업에서 수작업으로 설계한 손실 기반 baselines를 능가할 수 있음을 시연한다.