[논문 리뷰] Deep Learning for Sampling from Arbitrary Probability Distributions.

Felix Horger, Tobias Würfl외 2명|arXiv (Cornell University)|2018. 01. 12.

Gaussian Processes and Bayesian Inference참고 문헌 6인용 수 3

한 줄 요약

이 논문은 훈련 중 제닝-쇼너 분산을 최소화함으로써 균일한 난수 변수를 임의의 알려진 일변량 확률분포에서의 표본으로 매핑하는 완전 연결 신경망을 제안한다. 이 방법은 높은 표본 추출 효율성을 달성하며, 독립적이고 상관관계가 있는 표본 추출을 모두 지원하고, 분석적 또는 수치적 사전 처리 없이도 임의의 분포로 일반화되며, 두 차원으로의 확장도 성공적으로 구현하였다.

ABSTRACT

This paper proposes a fully connected neural network model to map samples from a uniform distribution to samples of any explicitly known probability density function. During the training, the Jensen-Shannon divergence between the distribution of the model's output and the target distribution is minimized. We experimentally demonstrate that our model converges towards the desired state. It provides an alternative to existing sampling methods such as inversion sampling, rejection sampling, Gaussian mixture models and Markov-Chain-Monte-Carlo. Our model has high sampling efficiency and is easily applied to any probability distribution, without the need of further analytical or numerical calculations. It can produce correlated samples, such that the output distribution converges faster towards the target than for independent samples. But it is also able to produce independent samples, if single values are fed into the network and the input values are independent as well. We focus on one-dimensional sampling, but additionally illustrate a two-dimensional example with a target distribution of dependent variables.

연구 동기 및 목표

• 임의의 확률밀도함수에 대해 전통적인 분석적 또는 수치적 기법을 회피하는 신경망 기반 표본 추출 방법을 개발하는 것.
• 단일 훈련 가능한 모델을 사용해 명시적으로 알려진 임의의 확률밀도함수에서 고효율 표본 추출을 가능하게 하는 것.
• 설계상 독립적이고 상관관계가 있는 표본 추출을 모두 지원함으로써 몬테카를로 응용에서 수렴 속도를 향상시키는 것.
• 종속 변수를 포함한 다변량 사례를 포함하여 일변량 이상의 분포로의 적용 가능성을 입증하는 것.
• 역함수 표본 추출, 기각 표본 추출, MCMC, GMM 기반 방법과의 대체 가능성을 제공하는 플러그 앤 플레이 대안을 제공하는 것.

제안 방법

• 완전 연결 피드포워드 신경망이 균일 분포에서 온 입력 표본을 목표 확률밀도함수와 일치하는 표본으로 변환하도록 훈련된다.
• 훈련 목표는 모델의 출력 분포와 목표 분포 사이의 제닝-쇼너 분산을 최소화하는 것이다.
• 백프로파게이션을 사용하여 JS 분산 손실 기반으로 네트워크 가중치를 갱신함으로써 표본 변환의 엔드 투 엔드 학습이 가능해진다.
• 입력 노이즈는 균일 분포에서 독립적으로 추출되며, 네트워크는 원하는 분포로 향하는 결정론적 매핑을 학습한다.
• 구조적 또는 종속적인 입력을 공급함으로써 네트워크는 상관관계가 있는 표본을 생성할 수 있고, 독립적인 입력을 사용하면 독립적인 표본을 생성할 수 있다.
• 종속 변수를 포함한 연속 분포를 모델링함으로써 이중 차원으로의 확장을 시도하였으며, 단변량 사례를 초월한 일반화 능력을 입증하였다.

실험 결과

연구 질문

• RQ1 딥 신경망이 분석적 역함수 계산이나 기각 단계 없이도 임의의 확률분포에서 효과적으로 표본을 추출할 수 있는가?
• RQ2 이 프레임워크에서 독립적이고 상관관계가 있는 출력 간의 표본 추출 효율성과 수렴 속도는 어떻게 비교되는가?
• RQ3 이 모델은 종속 성분을 포함한 다변량 분포로 얼마나 잘 일반화되는가?
• RQ4 제닝-쇼너 분산 최소화가 실질적으로 안정적이고 정확한 분포 매칭을 이끌어내는가?
• RQ5 이 접근법은 MCMC나 기각 표본 추출과 같은 기존 표본 추출 기법에 대한 확장 가능하고 보편적인 대안이 될 수 있는가?

주요 결과

• 모델은 훈련 실험에서 수렴함을 보이며 균일 입력을 목표 분포로 성공적으로 매핑하는 데 성공하였다.
• 전통적인 표본 추출에서 흔히 볼 수 있는 반복적 또는 기각 기반 단계를 피하기 때문에 표본 추출 효율성이 매우 높았다.
• 네트워크는 상관관계가 있는 표본과 독립적인 표본을 모두 생성할 수 있었으며, 상관관계가 있는 표본 추출은 몬테카를로 추정에서 더 빠른 수렴을 가능하게 하였다.
• 종속 변수를 포함한 이중 분포로의 일반화 성능이 입증되었으며, 단변량 사례를 초월한 확장성도 입증되었다.
• 훈련 후 추가적인 분석적 또는 수치적 계산이 필요 없었으며, 알려진 임의의 확률밀도함수에 직접 적용 가능하였다.
• 이 방법은 보편적이고, 미분 가능하며, 훈련 가능한 역함수, 기각, MCMC 표본 추출 방법의 대안을 제공한다.