[논문 리뷰] Implicit Maximum Likelihood Estimation

Ke Li, Jitendra Malik|arXiv (Cornell University)|2018. 09. 24.

Gaussian Processes and Bayesian Inference참고 문헌 49인용 수 62

한 줄 요약

본 논문은 특정 조건에서 최대 우도에 해당하는 가능도-없는 암시적 모델 매개변수 추정 방법인 IMLE를 도입하고, MNIST, TFD, CIFAR-10에서 그 효과를 입증한다.

ABSTRACT

Implicit probabilistic models are models defined naturally in terms of a sampling procedure and often induces a likelihood function that cannot be expressed explicitly. We develop a simple method for estimating parameters in implicit models that does not require knowledge of the form of the likelihood function or any derived quantities, but can be shown to be equivalent to maximizing likelihood under some conditions. Our result holds in the non-asymptotic parametric setting, where both the capacity of the model and the number of data examples are finite. We also demonstrate encouraging experimental results.

연구 동기 및 목표

• 가능도가 계산 불가능한 암시적 확률 모델에서 매개변수 추정의 필요성을 제시한다.
• 유한 용량 및 유한 샘플 가정 하에서 최대 우도에 해당하는 단순하고 가능도-없는 추정기(IMLE)를 제안한다.
• IMLE가 모드 드랍 등 GAN 유사한 병목 현상 및 학습 불안정성 같은 일반적인 문제를 피할 수 있음을 보인다.
• 표준 데이터셋(MNIST, Toronto Faces Dataset, CIFAR-10)에 대해 정성적 및 정량적 평가로 IMLE를 실험적으로 시연한다.

제안 방법

• IMLE 정의: 각 데이터 예시와 모델로부터 얻은 가장 가까운 샘플 간의 기대 거리를 최소화한다, R_i^θ = min_j ||x_i - x~_j^θ||^2; IMLE 목표는 min_θ E_{R_1^θ,...,R_n^θ}[sum_i R_i^θ].
• 각 바깥 반복마다 P_θ로부터 독립동일분포(m≥n) 샘플을 생성하고 각 데이터 포인트를 가장 가까운 샘플과 매칭한다; 샘플 기반 IMLE 목표로 SGD로 θ를 업데이트한다.
• 효율성을 위해 최근접 이웃 탐색을 사용하고, 거리 기반 목적함수는 Euclidean 거리 또는 거리가 의미 있는 임베딩을 사용할 수 있음을 언급한다.
• 제1정리에서 제시된 조건 하에 IMLE가 ML에 가능도 동등하다는 정당화를 제공한다(논문에 조건의 개요가 제시됩니다).
• 다른 거리 척도 및 비유클리드 임베딩에 대한 확장을 논의하고, 빠른 최근접 이웃 방법을 통한 확장성에 중점을 둔다.

실험 결과

연구 질문

• RQ1 유한한 데이터 및 모델 용량 하에서 가능도-없은 추정기가 최대 우도에 상응할 수 있는가?
• RQ2 IMLE가 모드 드랍을 방지하고 GAN과 같은 가능도-없는 대안에 비해 안정성을 개선하는가?
• RQ3 표준 이미지 데이터셋에서 샘플 품질과 다양성 측면에서 IMLE의 성능은 어떠한가?
• RQ4 고차원 데이터에 IMLE를 확장하기 위한 실용적 고려사항(최근접 이웃 탐색, 거리 척도)은 무엇인가?

주요 결과

Method	MNIST	TFD
DBN (Bengio et al., 2013)	138±2	1909±66
SCAE (Bengio et al., 2013)	121±1.6	2110±50
DGSN (Bengio et al., 2014)	214±1.1	1890±29
GAN (Goodfellow et al., 2014)	225±2	2057±26
GMMN (Li et al., 2015)	147±2	2085±25
IMLE (Proposed)	257±6	2139±27

• IMLE는 MNIST, Toronto Faces Dataset, CIFAR-10에서 경쟁력 있는 샘플 품질과 합리적인 로그-가능도 추정치를 달성한다.
• IMLE는 모드 드랍을 감소시키고 일반적인 GAN 병목 현상 없이 안정적인 학습을 제공하며 전체 재현을 유지한다.
• Table 1은 테스트 데이터의 로그-가능도(Gaussian Parzen 창) 를 IMLE 및 baseline에서 MNIST 및 TFD 전반에 걸쳐 보여주며, IMLE가 높은 점수를 달성한다.
• 전체 재현이 주어지면 고품질 샘플이 반드시 나쁜 밀도 추정으로 이어지지 않는다는 것을 IMLE가 보여준다.
• 시각화는 학습 중 매끄러운 보간과 샘플 선명도 향상을 나타내는 학습된 매니폴드를 시사한다.
• IMLE의 최근접 이웃 매칭은 각 데이터 예제가 근처 샘플을 가지도록 보장하여 포괄적인 모드 커버리지를 지지한다.