[논문 리뷰] Bounding the Test Log-Likelihood of Generative Models

Yoshua Bengio, Li Yao외 1명|arXiv (Cornell University)|2014. 01. 01.

Algorithms and Data Compression인용 수 5

한 줄 요약

이 논문은 정규화 상수가 비가역적이거나 분석적 비정규화 밀도 함수가 없는 생성 모델에서 테스트 로그우도를 더 효율적으로 추정하는 하한 추정기(_estimator)를 제안한다. 무한한 샘플 수의 극한에서 일致하고 비편향된 추정기를 제공하며, 유한 샘플에서의 신뢰할 수 있는 모델 비교를 위한 편향된 변형을 제공함으로써 기존의 비모수 밀도 추정 방법보다 향상된다.

ABSTRACT

Abstract: Several interesting generative learning algorithms involve a complex probability distribution over many random variables, involving intractable normalization constants or latent variable normalization. Some of them may even not have an analytic expression for the unnormalized probability function and no tractable approximation. This makes it difficult to estimate the quality of these models, once they have been trained, or to monitor their quality (e.g. for early stopping) while training. A previously proposed method is based on constructing a non-parametric density estimator of the model's probability function from samples generated by the model. We revisit this idea, propose a more efficient estimator, and prove that it provides a lower bound on the true test log-likelihood, and an unbiased estimator as the number of generated samples goes to infinity, although one that incorporates the effect of poor mixing. We further propose a biased variant of the estimator that can be used reliably with a finite number of samples for the purpose of model comparison.

연구 동기 및 목표

• 정규화 상수가 비가역적이거나 분석적 비정규화 밀도 함수가 없는 생성 모델의 평가 과제를 해결하기 위해.
• 이러한 모델에서 로그우도 추정을 위한 기존의 비모수 밀도 추정 방법을 향상시키기 위해.
• 샘플 크기가 증가함에 따라 일致하고 비편향이 되는 진짜 테스트 로그우도에 대한 하한을 제공하기 위해.
• 유한 샘플 크기에서 신뢰할 수 있는 모델 비교가 가능한 실용적인 편향된 추정기 변형을 개발하기 위해.

제안 방법

• 학습된 모델에서 유도된 샘플을 사용하여 비모수 밀도 추정을 재검토하여 모델의 밀도 함수를 추정한다.
• 일致성을 유지하면서도 진짜 테스트 로그우도에 대한 하한을 제공하는 더 효율적인 추정기를 제안한다.
• 혼합 상태가 열악하더라도 생성 샘플 수가 무한해질 때 추정기가 비편향임을 증명한다.
• 유한 샘플 크기에서 신뢰할 수 있는 추정을 유지하는 편향된 변형을 도입하여 실용적인 모델 비교를 가능하게 한다.
• 핵 밀도 추정 또는 유사한 비모수 기법을 사용하여 생성된 샘플에서 밀도 추정기를 구성한다.

실험 결과

연구 질문

• RQ1 정규화 상수가 비가역적인 생성 모델의 테스트 로그우도를 둘러싸는 더 효율적인 비모수 추정기를 구성할 수 있는가?
• RQ2 제안된 추정기는 진짜 테스트 로그우도에 대해 유효한 하한을 제공하는가?
• RQ3 생성 샘플 수가 무한해질 때 추정기는 비편향인가?
• RQ4 유한 샘플 크기에서 신뢰할 수 있는 모델 비교가 가능한 추정기의 편향된 변형을 설계할 수 있는가?

주요 결과

• 제안된 추정기는 진짜 테스트 로그우도에 대한 하한을 제공하여 모델 품질 평가가 보수적으로 이루어지도록 보장한다.
• 모델의 혼합 상태가 열악하더라도 생성 샘플 수가 무한해질 때 추정기는 비편향임을 입증한다.
• 추정기의 편향된 변형은 유한 샘플에서의 모델 비교에 신뢰할 수 있음을 입증하여 훈련 과정에서의 실용적 활용을 가능하게 한다.
• 로그우도 평가에 있어 기존의 비모수 밀도 추정 접근법보다 효율성이 향상됨을 보여준다.