[논문 리뷰] Neural Likelihoods via Cumulative Distribution Functions

Pawel M. Chilinski, Ricardo Silva|arXiv (Cornell University)|2018. 11. 02.

Neural Networks and Applications참고 문헌 41인용 수 7

한 줄 요약

이 논문은 깊이 있는 신경망을 사용하여 단조성 누적분포함수(CDF)를 매개변수화하는 단조성 신경 밀도 추정기(MONDE)를 소개한다. 이는 전방 전파를 통해 직접 CDF 평가와 자동 미분를 통한 미분 가능 밀도 추정을 가능하게 하며, 밀도 추정에서 경쟁적인 성능을 달성하면서 꼬리 확률과 저차원 주변분포의 효율적 계산도 가능하게 한다. 이는 단변량에서 고차원 설정까지 스케일성과 유연성을 균형 잡은 통합 프레임워크를 제공한다.

ABSTRACT

We leverage neural networks as universal approximators of monotonic functions to build a parameterization of conditional cumulative distribution functions (CDFs). By the application of automatic differentiation with respect to response variables and then to parameters of this CDF representation, we are able to build black box CDF and density estimators. A suite of families is introduced as alternative constructions for the multivariate case. At one extreme, the simplest construction is a competitive density estimator against state-of-the-art deep learning methods, although it does not provide an easily computable representation of multivariate CDFs. At the other extreme, we have a flexible construction from which multivariate CDF evaluations and marginalizations can be obtained by a simple forward pass in a deep neural net, but where the computation of the likelihood scales exponentially with dimensionality. Alternatives in between the extremes are discussed. We evaluate the different representations empirically on a variety of tasks involving tail area probabilities, tail dependence and (partial) density estimation.

연구 동기 및 목표

• 단조성과 미분 가능성을 보장하는 다변량 누적분포함수(CDF)의 신경망 기반 매개변수화 개발.
• 모델 재적합 없이 꼬리 영역 확률과 저차원 주변분포의 직접 평가 가능화.
• 단일 신경망 아키텍처를 사용한 밀도 추정과 CDF 기반 추론을 위한 통합 프레임워크 제공.
• 단변량, 이변량, 고차원 설정에서 계산 효율성과 모델링의 자유도 간 균형 확보.
• 고정된 기저 분포와 혼합 성분 선택에 의존하는 기존 정규화 플로우와 혼합 모델의 한계를 보완함.

제안 방법

• 응답 변수에 대해 단조성을 보장하기 위해 단조성 활성화 함수(예: tanh)를 사용하는 깊이 신경망을 사용해 조건부 CDF를 매개변수화.
• 응답 변수에 대한 미분을 통해 CDF에서 조건부 밀도함수(PDF)를 자동 미분을 통해 계산.
• 다변량 CDF를 세 가지 변형으로 구성: (1) 일정 공분산, (2) 매개변수화된 공분산, (3) 전체 유연성을 확보하기 위한 x,y 동시 변환.
• 확률적 경사하강법을 사용한 최대 복합우도 추정을 통해 모델을 훈련하고, 역전파를 통한 엔드 투 엔드 최적화 구현.
• CDF 네트워크의 전방 전파에서 직접 값을 추출함으로써 주변분포 및 꼬리 확률 계산의 효율성 확보.
• 공변수와 응답을 함께 모델링하는 유연한 아키텍처인 PUMONDE(Parametrized Unconstrained MONDE) 도입.

실험 결과

연구 질문

• RQ1 신경망을 효과적으로 사용해 단조성 다변량 CDF를 매개변수화하면서도, 미분 가능한 밀도 추정이 가능할 수 있는가?
• RQ2 CDF 기반 모델이 밀도 추정 과제에서 최첨단 정규화 플로우와 비교하거나 보완할 수 있는 정도는 어느 정도인가?
• RQ3 전방 전파를 통한 직접 CDF 평가가 꼬리 확률 및 주변분포 추정의 정확성과 효율성 향상에 기여하는가?
• RQ4 다양한 CDF 매개변수화 전략에서 계산 비용과 모델링의 자유도 간의 상호관계는 어떻게 나타나는가?
• RQ5 제안된 방법이 명시적 모델링 가정 없이도 복잡한 의존성 구조(예: 꼬리 의존성, 상호정보량 추정)를 처리할 수 있는가?

주요 결과

• MONDE 프레임워크는 MAF와 같은 최첨단 정규화 플로우 및 Mixture Density Networks(MDN)와 비교해 경쟁적인 우도 성능을 달성하며, 특히 이변량 우도 과제에서 뛰어난 성능을 보였다.
• x,y 동시 변환을 사용하는 PUMONDE 변형은 단일 전방 전파로 정확한 다변량 CDF 평가 및 주변분포 추출이 가능하지만, 차원이 증가함에 따라 우도 계산 비용이 지수적으로 증가한다.
• 일정 공분산 변형은 고차원 데이터에 대한 스케일러블한 대안을 제공하며, 일부 설정에서 MDN 및 MAF를 초월하는 성능을 유지하면서도 단순하고 균일한 아키텍처를 유지한다.
• 꼬리 의존성 및 상호정보량 추정 과제에서 MONDE 기반 모델은 표준 혼합 모델보다 더 효과적으로 복잡한 의존성 구조를 포착함을 보였다.
• 재학습 없이도 꼬리 영역 확률과 저차원 주변분포를 직접 계산할 수 있어, 각 주변분포에 대해 별도로 적합이 필요한 기존 모델에 비해 뚜렷한 이점 제공.
• 실험 결과, 매개변수화된 공분산를 사용한 MONDE는 밀도 추정과 의존성 모델링 양 측면에서 강력한 성능을 보였으며, 특히 저차원 설정에서 두각을 나타냈다.