[논문 리뷰] Gradient Estimators for Implicit Models

Yingzhen Li, Richard E. Turner|arXiv (Cornell University)|2017. 05. 19.

Markov Chains and Monte Carlo Methods참고 문헌 58인용 수 35

한 줄 요약

이 논문은 존재하지 않는 가능도를 직접 추정함으로써 비모수적 확률 모델을 훈련시키는 데 사용할 수 있는 스틸 기울기 추정기(Stein gradient estimator)를 소개한다. 이 방법은 계산이 불가능한 가능도를 근사하지 않고도 밀도의 로그 미분(스코어 함수)를 직접 추정함으로써 안정적이고 고성능의 훈련을 가능하게 하며, 기울기 없는 MCMC, 베이지안 신경망을 위한 메타학습, 엔트로피 정규화된 GAN 등 다양한 응용 분야에서 성능이 뛰어나다. 실험 결과로는, 스코어 매칭과 KDE 기반 추정기 대비 더 뛰어난 샘플 다양성과 안정성을 확보하였다.

ABSTRACT

Implicit models, which allow for the generation of samples but not for point-wise evaluation of probabilities, are omnipresent in real-world problems tackled by machine learning and a hot topic of current research. Some examples include data simulators that are widely used in engineering and scientific research, generative adversarial networks (GANs) for image synthesis, and hot-off-the-press approximate inference techniques relying on implicit distributions. The majority of existing approaches to learning implicit models rely on approximating the intractable distribution or optimisation objective for gradient-based optimisation, which is liable to produce inaccurate updates and thus poor models. This paper alleviates the need for such approximations by proposing the Stein gradient estimator, which directly estimates the score function of the implicitly defined distribution. The efficacy of the proposed estimator is empirically demonstrated by examples that include meta-learning for approximate inference, and entropy regularised GANs that provide improved sample diversity.

연구 동기 및 목표

• 가능도가 계산이 불가능한 암시적 확률 모델을 훈련시키는 데 있어 기존 기울기 기반 방법이 실패하는 문제를 해결하기 위해.
• 가능도나 최적화 목표의 근사에 의존함으로써 훈련이 불안정하고 성능이 열 劣해지는 것을 방지하기 위해.
• 암시적으로 정의된 분포의 스코어 함수를 직접 추정할 수 있는 일반 목적의 기울기 추정기를 개발하기 위해.
• 최대우도, 변분 추론, MCMC와 같은 기존 추론 기법을 암시적 모델에 적용할 수 있도록 하기 위해.
• 특히 GAN과 근사 베이지안 추론에서 샘플 다양성과 훈련 안정성을 향상시키기 위해.

제안 방법

• 스코어 매칭의 일반화로, 파rametric 및 non-parametric 형태 모두에 적용 가능한 스틸 기울기 추정기를 제안한다.
• 경계 조건을 만족시키기 위해 Epanechnikov 커널을 사용한 커널 기반 추정을 활용하여 샘플에서 스코어 함수를 계산한다.
• 고차원 환경에서 추정의 일관성과 분산을 줄이기 위해 U-통계량(U-statistic) 형식을 도입한다.
• 기울기 기반 최적화를 통해 암시적 모델을 훈련시키는 데 추정기를 적용하며, GAN 및 MCMC 프레임워크에 적용한다.
• 샘플 생성의 다양성을 장려하기 위해 추정기를 엔트로피 정규화된 GAN(BEGAN 등)에 통합한다.
• 샘플이 매개변수 변환 $\bm{x} = \bm{f}_{\bm{\theta}}(\bm{z})$를 통해 생성되는 미분 가능한 생성 과정을 사용함으로써 생성기의 역전파가 가능하게 한다.

실험 결과

연구 질문

• RQ1 계산이 불가능한 가능도를 근사하지 않고도 암시적 모델에 대해 직접 스코어 함수 추정기를 구성할 수 있는가?
• RQ2 훈련 안정성과 샘플 품질 측면에서 스틸 기울기 추정기는 스코어 매칭과 KDE 플러그인 추정기와 비교해 어떻게 성능을 내는가?
• RQ3 스틸 추정기는 기울기 없는 MCMC와 베이지안 신경망의 근사 사후 분포 샘플링을 위한 메타학습에 효과적으로 활용될 수 있는가?
• RQ4 스틸 추정기를 통한 엔트로피 정규화는 이미지 품질을 손상시키지 않고 GAN에서 샘플 다양성을 향상시키는가?
• RQ5 기존 GAN 프레임워크에 최소한의 계산 비용으로 효율적으로 적용할 수 있는가?

주요 결과

• 스틸 기울기 추정기는 엔트로피 정규화된 BEGAN에서 샘플 다양성을 크게 향상시켰으며, 모든 정량적 지표에서 스코어 매칭과 KDE 기반 추정기보다 뛰어난 성능을 보였다.
• MNIST 인셉션 스코어 지표에서, 스틸 기반 GAN은 가장 높은 스코어를 기록하여 더 뛰어난 현실감과 다양성을 보였으며, 경쟁자들에 비해 큰 격차를 보였다.
• 스틸 추정기는 이웃 레이블 벡터의 엔트로피가 0.95로 가장 높고, 이웃 평균 $l_1$ 거리가 1.82로 가장 낮아, 높은 다양성과 일반화 능력을 나타내었다.
• 모든 세 가지 방법(스틸, 스코어, KDE)이 유사한 훈련 속도(~10.3초/에포크)를 보였으며, 엔트로피 정규화가 추가적인 계산 비용을 거의 유발하지 않음을 확인하였다.
• KDE 기반 방법은 이웃 평균 거리가 가장 낮아 학습 데이터를 기억하는 경향이 있었지만, 스틸 추정기는 이 문제를 피했다.
• 제안된 방법은 기울기 없는 MCMC와 메타학습을 통한 사후 샘플러 훈련을 안정적으로 가능하게 하여, GAN을 넘어서도 넓은 적용 가능성을 입증하였다.