[논문 리뷰] Conditional Density Estimation with Bayesian Normalising Flows

Brian L. Trippe, Richard E. Turner|arXiv (Cornell University)|2018. 02. 14.

Bayesian Methods and Mixture Models참고 문헌 17인용 수 41

한 줄 요약

본 논문은 조건부 밀도 추정에 대해 정규화 흐름을 매개변수화하기 위해 베이지안 신경망을 사용하여, 복잡하고 이분산적(heteroscedastic) 조건 분포의 유연하고 해석 가능한 모델링과 대규모 공간 데이터셋에 대한 확장 가능한 적용을 가능하게 한다.

ABSTRACT

Modeling complex conditional distributions is critical in a variety of settings. Despite a long tradition of research into conditional density estimation, current methods employ either simple parametric forms or are difficult to learn in practice. This paper employs normalising flows as a flexible likelihood model and presents an efficient method for fitting them to complex densities. These estimators must trade-off between modeling distributional complexity, functional complexity and heteroscedasticity without overfitting. We recognize these trade-offs as modeling decisions and develop a Bayesian framework for placing priors over these conditional density estimators using variational Bayesian neural networks. We evaluate this method on several small benchmark regression datasets, on some of which it obtains state of the art performance. Finally, we apply the method to two spatial density modeling tasks with over 1 million datapoints using the New York City yellow taxi dataset and the Chicago crime dataset.

연구 동기 및 목표

• 단순 파라메트릭 형태를 넘어서 유연하고 해석 가능한 조건부 밀도 추정(CDE)의 필요성을 제시한다.
• CDE를 위한 유연한 가능도 모델로서 정규화 흐름을 도입한다.
• 베이지안 신경망을 통해 조건부 밀도에 대한 사전분포를 갖는 베이지안 프레임워크를 개발한다.
• 이 모델들을 적합시키기 위한 효율적인 변분 추론 방법을 제공한다.
• 대규모 공간 데이터셋에 대한 확장성과 벤치마크에서의 최첨단 성능의 증거를 보여준다.

제안 방법

• p(y|x)로서의 조건부 가능도로 정규화 흐름을 사용하고, 매개변수는 신경망 h_theta(x)에 의해 생성된다.
• 조건부 밀도 추정을 위한 효율적인 정확한 밀도 평가를 가능하게 하기 위해 정규화 흐름을 역전시킨다( z0 = f1(f2(...(y))) ), 로그 밀도는 로그 결정식의 합으로 계산된다.
• 반경 흐름을 세 매개변수 형태 f(z)=z+ (alpha beta (z-gamma)) / (alpha+|z-gamma|)로 매개변수화하고, alpha와 beta에 소프트플러스 변환을 적용하여 단조성을 보장한다.
• 베이지안 신경망을 사용하여 신경망 가중치에 사전분포를 두어 p(y|x) 및 이의 이분산적 변화를 유도하는 사전분포를 도입한다.
• theta에 대한 후방 분포를 근사하기 위해 변분 추론(평균장 Gaussian, 고정 분산, 로컬 재매개화)을 수행한다.
• 다변수 타깃으로 확장하기 위해 자기회귀/자기회귀 구조를 채택하여 2D 밀도 추정(p(y1|x) p(y2|y1,x))을 가능하게 한다.

실험 결과

연구 질문

• RQ1 정규화 흐름이 조건부 밀도 추정을 위한 해석 가능하고 유연한 가능도 모델로 작용할 수 있는가?
• RQ2 조건부 분포에 대한 사전분포를 어떻게 표현하고 학습하여 분포의 복잡성과 이분산성을 균형 있게 달성할 수 있는가?
• RQ3 신경망 매개변수에 대한 베이지안 추론이 기존 방법과 비교하여 견고하고 과적합되지 않는 CDE 모델을 산출하는가?
• RQ4 베이지안 정규화 흐름은 대규모 실제 공간 데이터셋에 얼마나 잘 확장되며 비가우시안 이분산 밀도를 포착하는가?
• RQ5 자기회귀 확장이 다변수 조건부 밀도 모형화에 효과를 주는가?

주요 결과

• 베이지안 정규화 흐름은 여러 소형 UCI 회귀 벤치마크에서 최첨단 또는 경쟁력 있는 테스트 로그가능도(test log-likelihood)를 달성한다.
• NF-5(5단계 흐름)가 평가된 NF 변형들 중 가장 강한 성능을 제공하며, 여러 데이터세트에서 MF 및 HMC 기반선보다 종종 우수하다.
• 이 방법은 이분산 노이즈를 갖는 비가우시안 예측 분포를 포착하여 밀도 추정 과제에서 여러 기준선보다 우수하다.
• 자기회귀 확장은 2D 조건부 밀도 추정을 가능하게 하며, 공간 작업에서 시연되었다.
• NYC 택시 데이터 및 시카고 범죄 데이터에서 이 방법은 백만 개가 넘는 데이터포인트까지 확장되며 공간에 대한 해석 가능한 조건부 밀도를 산출한다.
• MDN 및 LV 기준선은 대부분의 데이터세트에서 NF 모델에 비해 일반적으로 성능이 떨어지며, 일부 특정 작업(예: wine quality)에서만 예외적.