[논문 리뷰] Flow Models for Arbitrary Conditional Likelihoods

Yang Li, Shoaib Akbar외 1명|arXiv (Cornell University)|2019. 09. 13.

Simulation Techniques and Applications참고 문헌 36인용 수 8

한 줄 요약

이 논문은 임의의 관측된 공변량 $x_o$ 를 바탕으로 하여 특징의 임의의 부분집합에 대해 추적 가능한 조건부 우도 추정을 가능하게 하는 새로운 정규화 흐름 프레임워크인 ACFlow를 소개한다. 조건부 역행성 변환과 순차적 우도 모델링을 결합함으로써 ACFlow는 합성 및 실세계 데이터셋에서 임의의 조건부 분포, 근사, 단일 및 다중 보정 모두에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Understanding the dependencies among features of a dataset is at the core of most unsupervised learning tasks. However, a majority of generative modeling approaches are focused solely on the joint distribution $p(x)$ and utilize models where it is intractable to obtain the conditional distribution of some arbitrary subset of features $x_u$ given the rest of the observed covariates $x_o$: $p(x_u \mid x_o)$. Traditional conditional approaches provide a model for a fixed set of covariates conditioned on another fixed set of observed covariates. Instead, in this work we develop a model that is capable of yielding all conditional distributions $p(x_u \mid x_o)$ (for arbitrary $x_u$) via tractable conditional likelihoods. We propose a novel extension of (change of variables based) flow generative models, arbitrary conditioning flow models (AC-Flow), that can be conditioned on arbitrary subsets of observed covariates, which was previously infeasible. We apply AC-Flow to the imputation of features, and also develop a unified platform for both multiple and single imputation by introducing an auxiliary objective that provides a principled single "best guess" for flow models. Extensive empirical evaluations show that our models achieve state-of-the-art performance in both single and multiple imputation across image inpainting and feature imputation in synthetic and real-world datasets. Code is available at https://github.com/lupalab/ACFlow.

연구 동기 및 목표

• 기존의 흐름 모델이 관측된 공변량 $x_o$ 를 바탕으로 하여 임의의 미관측 특징 부분집합 $x_u$ 에 대해 조건부 분포 $p(x_u \mid x_o)$ 를 효율적으로 계산할 수 없는 한계를 해결하기 위해.
• 단일 프레임워크 내에서 연합 분포, 임의의 조건부 분포, 임의의 주변 분포를 모두 모델링할 수 있는 통합 생성 모델을 개발하기 위해.
• 분석적 평균이 존재하지 않을 경우 '최선의 추측'을 생성하기 위한 새로운 보조 목표를 통해 원칙적인 확률론적 방식으로 단일 및 다중 보정을 가능하게 하기 위해.
• 모델의 크기가 지수적으로 증가하지 않도록 하면서도 관측된 특징 및 미관측 특징 집합의 임의의 차원을 처리할 수 있도록 흐름 기반 모델을 확장하기 위해.

제안 방법

• 임의의 특징 부분집합에서 작동하는 조건부 역행성 변환을 도입하여, 임의의 $x_u$ 와 $x_o$ 에 대해 $p(x_u \mid x_o)$ 의 추적 가능한 계산을 가능하게 한다.
• 조건부 순차적 우도 접근 방식을 활용하여 조건부 분포의 모델링 유연성과 표현력을 향상시킨다.
• 분석적 평균이 존재하지 않을 경우 단일 '최선의 추측' 보정을 생성하기 위한 새로운 보조 손실을 제안하여 점 추정 성능을 향상시킨다.
• 주변 분포를 처리하기 위해, 주변 분포 $p(x_u)$ 를 빈 집합에 대한 조건부 분포 $p(x_u \mid \emptyset)$ 로 간주함으로써 프레임워크를 임의의 주변화에 확장한다.
• 추론 중에 관측된 ($x_o = x[b]$) 및 미관측된 ($x_u = x[1-b]$) 특징 부분집합을 동적으로 선택하기 위해 이진 마스크 $b$ 를 사용한다.
• 가우스 기저 분포를 사용한 최대 로그우도 추정과 조건부 및 보정 작업에 대한 샘플 기반 평가를 수행한다.

실험 결과

연구 질문

• RQ1 임의의 부분집합 $x_u$ 의 특징에 대해 어떤 관측된 부분집합 $x_o$ 가 주어졌을 때, 단일 정규화 흐름 모델이 $p(x_u \mid x_o)$ 의 추적 가능한 조건부 우도를 계산할 수 있는가?
• RQ2 모델은 아키텍처 재학습 없이도 연합 분포 모델링과 임의의 주변화 모두에 일반화 가능한가?
• RQ3 제안된 '최선의 추측' 보정을 위한 보조 손실이 표본 다양성을 해치지 않으면서 점 추정 성능을 향상시키는가?
• RQ4 다양한 데이터셋에서 기존 모델과 비교해 ACFlow 는 조건부 우도 및 보정 품질 측면에서 어떻게 성능을 내는가?

주요 결과

• ACFlow 는 벤치마크 데이터셋에서 임의의 조건부 우도를 모델링하는 데 최신 기술 수준의 성능을 달성하여, 이전 방법들보다 우도 및 보정 품질 측면에서 모두 뛰어난 성능을 보였다.
• MNIST, Omniglot, CelebA 데이터셋에서 ACFlow+BG 는 각각 PSNR 점수 20.828, 18.838, 25.723 를 기록하여 VAEAC 대비 뚜렷이 뛰어난 성능을 보였다.
• ACFlow 의 PRD 점수는 높은 재현율(0.984–0.988)과 정밀도(0.945–0.970)를 보이며 진정된 데이터 분포의 강력한 커버리지와 무결성을 나타낸다.
• 보조 '최선의 추측' 손실은 PRD 점수에 영향을 주지 않으면서 최대 3.5점까지 PSNR 를 향상시켜, 점 추정 성능 향상에 기여함을 확인하였다.
• 특징 보정 작업에서 ACFlow+BG 는 특히 높은 누락 비율에서도 최신 기술 수준의 NRMSE 점수를 기록하여 누락 데이터 패턴에 대한 강건성을 입증하였다.
• 정성적 결과에서는 ACFlow 가 높은 누락 비율 조건에서도 날카롭고 다양한, 세밀한 복원을 생성하며, VAEAC 대비 시각적 품질과 세부 회복 능력에서 뛰어난 성능을 보였다.