[논문 리뷰] Analysis of Noise Contrastive Estimation from the Perspective of Asymptotic Variance

Masatoshi Uehara, Takeru Matsuda외 1명|arXiv (Cornell University)|2018. 08. 24.

Advanced Statistical Methods and Models참고 문헌 3인용 수 5

한 줄 요약

이 논문은 정규화 상수가 추정이 불가능한 비정규화 모델에서 노이즈 대비 추정(NCE)의 분산을 최소화하는 프레임워크를 제안한다. 보조 분포의 매개수와 목적 함수를 최적화함으로써, 渐近 분산을 최소화하는 최적의 목적 함수를 유도하고, 이론과 실험을 통해 보조 분포 매개수에 최대우도추정(MLE)을 적용할 경우 분산이 감소함을 보여준다. 제안된 방법 중 제이슨-섀넌( Jensen-Shannon) 분산이 가장 효율적인 추정기임을 입증한다.

ABSTRACT

There are many models, often called unnormalized models, whose normalizing constants are not calculated in closed form. Maximum likelihood estimation is not directly applicable to unnormalized models. Score matching, contrastive divergence method, pseudo-likelihood, Monte Carlo maximum likelihood, and noise contrastive estimation (NCE) are popular methods for estimating parameters of such models. In this paper, we focus on NCE. The estimator derived from NCE is consistent and asymptotically normal because it is an M-estimator. NCE characteristically uses an auxiliary distribution to calculate the normalizing constant in the same spirit of the importance sampling. In addition, there are several candidates as objective functions of NCE. We focus on how to reduce asymptotic variance. First, we propose a method for reducing asymptotic variance by estimating the parameters of the auxiliary distribution. Then, we determine the form of the objective functions, where the asymptotic variance takes the smallest values in the original estimator class and the proposed estimator classes. We further analyze the robustness of the estimator.

연구 동기 및 목표

• 정규화 상수가 추정이 불가능한 비정규화 모델에서 노이즈 대비 추정(NCE) 추정기의 渐近 분산을 줄이는 것.
• NCE에서 사용되는 보조 분포의 매개수를 추정하는 방법을 개발하여 분산을 추가로 줄이는 것.
• 기존 NCE 클래스와 제안된 개선된 클래스 내에서 渐近 분산을 최소화하는 최적의 목적 함수 형태를 규명하는 것.
• 渐近 분산 분석에서 유도된 영향 함수를 활용해 NCE 추정기의 안정성(로버스트니)을 분석하는 것.
• 절단 정규분포와 가우시안 모델에서의 수치 실험을 통해 이론적 결과를 검증하는 것.

제안 방법

• 보조 분포 매개수의 최대우도추정(MLE)을 적용하는 플러그인 방법을 제안하여 NCE의 渐近 분산을 감소시키는 것.
• M-추정 이론과 영향 함수를 활용해 일반적인 목적 함수 하에서 NCE 추정기의 渐近 분산을 유도하는 것.
• 일반적인 볼록 함수 클래스 위에서 변분 문제를 풀어 渐近 분산을 최소화하는 최적의 목적 함수 형태를 규명하는 것.
• 밀도 파wr 분산 가족과 카이제곱 분산을 특수 케이스로 활용해 안정성과 효율성 분석을 수행하는 것.
• 절단 정규분포 및 가우시안 모델에 프레임워크를 적용하고, R 패키지를 활용해 보조 분포의 추정이 불가능한 정규화 상수를 정확히 계산하는 것.
• 100회의 몬테카를로 시뮬레이션을 수행하여 다양한 목적 함수 및 추정 전략 간 평균제곱오차(MSE)를 비교하는 것.

실험 결과

연구 질문

• RQ1 보조 분포 매개수를 최적화함으로써 NCE 추정기의 渐近 분산을 어떻게 줄일 수 있는가?
• RQ2 볼록 거리 함수 클래스 내에서 NCE의 渐近 분산을 최소화하는 최적의 목적 함수 형태는 무엇인가?
• RQ3 목적 함수의 선택이, 영향 함수로 측정된 NCE 추정기의 안정성에 어떤 영향을 미치는가?
• RQ4 고정된 보조 분포 대비 보조 분포 매개수에 MLE 추정치를 플러그인 적용할 경우, 渐近 분산이 유의미하게 감소하는가?
• RQ5 유한 표본 시뮬레이션에서 제이슨-섀넌, 칼람블레르-라이블러, 카이제곱 중 어떤 목적 함수가 가장 낮은 평균제곱오차(MSE)를 달성하는가?

주요 결과

• 보조 분포 매개수에 최대우도추정(MLE)을 플러그인 적용할 경우, 시뮬레이션 결과 MSE가 낮아져 NCE 추정기의 渐近 분산이 유의미하게 감소함을 확인하였다.
• 최적의 목적 함수 형태는 $ f(x) = x\log x - \left(\frac{m_2}{m_1}x + 1\right)\log\left(1 + \frac{m_1}{m_2}x\right) $ 로 유도되었으며, 이는 제이슨-섀넌 분산에 해당한다.
• 시험된 목적 함수들 중에서 제이슨-섀넌 분산을 사용한 NCE가 가장 낮은 평균제곱오차(MSE)를 달성하였고, 그 다음으로 칼람블레르-라이블러, 카이제곱 분산의 순서를 보였다.
• 카이제곱 분산 목적 함수는 그 영향 함수가 유계이므로 안정성이 뛰어나며, MLE(비안정성)와 대비되어 이론적 B-안정성 결과를 지지한다.
• 정리 4.1에서 유도된 최적 목적 함수는 원래 NCE 클래스와 제안된 개선된 클래스 양쪽에서 가장 낮은 渐近 분산을 제공한다.
• 모르는 정밀도 행렬을 가진 3차원 절단 정규분포 모델에 대한 수치 실험 결과, 제안된 방법(POJS)이 표준 NCE(OJS)보다 모든 표본 크기(1000에서 8000까지)에서 MSE 측면에서 뛰어난 성능을 보였다.