[논문 리뷰] Adversarial sampling of unknown and high-dimensional conditional distributions

Malik Hassanaly, Andrew Glaws외 2명|arXiv (Cornell University)|2021. 11. 08.

Probabilistic and Robust Engineering Design참고 문헌 78인용 수 20

한 줄 요약

이 논문은 기저 확률밀도함수(PDF)가 알려져 있지 않고 조건부 변수가 연속적인 경우, 고차원 조건부 분포를 샘플링하기 위한 GAN 기반 방법을 제안한다. 신경망 또는 확률적 추정을 통해 조건부 모멘트를 추정함으로써, 복잡한 시스템에 대해 다양하고 고해상도의 샘플링을 가능하게 하며, 대기 난류 복소화(deconvolution)에서 성능을 입증한다. 기존 최고 수준의 방법들과 비교해 해상도를 유지하면서도 샘플의 다양성을 향상시킨다.

ABSTRACT

Many engineering problems require the prediction of realization-to-realization variability or a refined description of modeled quantities. In that case, it is necessary to sample elements from unknown high-dimensional spaces with possibly millions of degrees of freedom. While there exist methods able to sample elements from probability density functions (PDF) with known shapes, several approximations need to be made when the distribution is unknown. In this paper the sampling method, as well as the inference of the underlying distribution, are both handled with a data-driven method known as generative adversarial networks (GAN), which trains two competing neural networks to produce a network that can effectively generate samples from the training set distribution. In practice, it is often necessary to draw samples from conditional distributions. When the conditional variables are continuous, only one (if any) data point corresponding to a particular value of a conditioning variable may be available, which is not sufficient to estimate the conditional distribution. This work handles this problem using an a priori estimation of the conditional moments of a PDF. Two approaches, stochastic estimation, and an external neural network are compared here for computing these moments; however, any preferred method can be used. The algorithm is demonstrated in the case of the deconvolution of a filtered turbulent flow field. It is shown that all the versions of the proposed algorithm effectively sample the target conditional distribution with minimal impact on the quality of the samples compared to state-of-the-art methods. Additionally, the procedure can be used as a metric for the diversity of samples generated by a conditional GAN (cGAN) conditioned with continuous variables.

연구 동기 및 목표

• 기계공학 시스템에서 기저 PDF가 알려져 있지 않고 조건부 변수가 연속적인 고차원 조건부 분포를 샘플링하는 문제에 대응한다.
• 훈련 데이터에 정확한 매칭이 존재하지 않는 연속적인 조건부 변수에 대해 데이터가 희박한 문제를 해결한다.
• 조건부 GAN이 생성하는 샘플의 다양성을 높이되, 샘플 품질을 저하시키지 않는다.
• 조건부 생성 모델링을 통해 필터링된 난류 유동장의 정확한 복소화를 가능하게 한다.
• 추정된 조건부 모멘트를 사용하여 조건부 GAN이 생성한 샘플의 다양성을 평가하는 지표를 제공한다.

제안 방법

• 신경망 또는 확률적 추정(예: 선형 또는 이차 근사)을 사용하여 알려져 있지 않은 고차원 분포의 조건부 모멘트를 추정한다.
• 추정된 모멘트를 GAN 손실 함수의 정규화 항으로 사용하여 생성자(generator)가 조건부 변수와 일치하는 다양한 샘플을 생성하도록 이끈다.
• 조건부 모멘트 추정을 조건부 GAN(cGAN) 훈련에 통합하기 위해, 추정된 모멘트에서의 이탈을 방지하는 다양성 손실 함수를 도입한다.
• 생성자가 추정된 목표 모멘트와 일치하는 조건부 모멘트를 가진 샘플을 생성하도록 모멘트 매칭 제약 조건을 적용한다.
• 콘텐츠, 적대적, 다양성 손실 항 간의 균형을 맞춰, 한 항이 훈련에서 지배적이지 않도록 한다.
• 저해상도 관측치(예: 박스 필터링된 필드)를 조건부 변수로 사용하여 대기 유동 복소화에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 정확한 매칭이 존재하지 않는 희박한 고차원 데이터에서 조건부 모멘트를 신뢰성 있게 추정할 수 있는가?
• RQ2 기본 PDF가 알려져 있지 않고 조건부 변수가 연속적인 고차원 조건부 분포에서 조건부 GAN을 어떻게 훈련하여 다양한 샘플을 생성할 수 있는가?
• RQ3 추정된 조건부 모멘트를 GAN 손실에 통합함으로써 샘플의 다양성이 얼마나 향상되고, 해상도 품질은 얼마나 유지되는가?
• RQ4 제안된 방법이 조건부 GAN이 생성한 샘플의 다양성을 평가하는 신뢰할 수 있는 지표로 기능할 수 있는가?
• RQ5 모멘트 추정 방법의 선택(신경망 대비 확률적 추정)이 생성된 샘플의 품질과 다양성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 정확한 매칭이 없는 연속적인 조건부 변수만을 사용하여 알려져 있지 않은 조건부 분포에서 고차원 샘플을 성공적으로 생성한다.
• 신경망 또는 확률적 모멘트 추정을 사용한 알고리즘의 모든 변형이, 원본의 복소화된 대응 샘플과 일치하는 복소화된 필드를 생성하였다.
• 모멘트 정규화가 적용된 GAN 기반 방법은 기준 방법 대비 품질 저하 없이 훨씬 더 높은 해상도의 샘플을 생성하였다.
• 모멘트 지도 없이 다양성을 유도하는 방법과 비교해, 어떤 모멘트 추정 기법을 사용하든 샘플의 다양성이 일관되게 높았다.
• 특히 미세 구조의 난류 구조를 포착하는 데 있어, 정량적·정성적 평가에서 최고 수준의 기존 방법들을 능가하였다.
• 콘텐츠, 적대적, 다양성 손실 항 간의 손실 균형 조절이, 한 항이 지배적이지 않게 하고 샘플의 일관성과 다양성을 유지하는 데 핵심적인 역할을 하였다.