[논문 리뷰] Notes on Noise Contrastive Estimation and Negative Sampling

Chris Dyer|arXiv (Cornell University)|2014. 10. 30.

Speech and Audio Processing참고 문헌 7인용 수 63

한 줄 요약

이 논문은 노이즈 대비 추정(NCE)과 음성 샘플링 간의 이론적 차이를 명확히 하여, NCE가 국소적으로 정규화된 확률적 언어 모델을 훈련시키는 데 있어 일致하고 渐近적으로 편향이 없는 방법임을 보여주며, 음성 샘플링은 일반적인 생성 언어 모델링을 위한 추정기로서보다는 단어 표현을 학습하기 위한 프록시 이진 분류 작업으로 더 잘 이해되어야 한다. 핵심 통찰은 NCE가 진정한 우도를 최적화하는 반면, 음성 샘플링은 원래 모델 목표와의 渐近적 일致성을 보장하지 못한다는 것이다.

ABSTRACT

Estimating the parameters of probabilistic models of language such as maxent models and probabilistic neural models is computationally difficult since it involves evaluating partition functions by summing over an entire vocabulary, which may be millions of word types in size. Two closely related strategies---noise contrastive estimation (Mnih and Teh, 2012; Mnih and Kavukcuoglu, 2013; Vaswani et al., 2013) and negative sampling (Mikolov et al., 2012; Goldberg and Levy, 2014)---have emerged as popular solutions to this computational problem, but some confusion remains as to which is more appropriate and when. This document explicates their relationships to each other and to other estimation techniques. The analysis shows that, although they are superficially similar, NCE is a general parameter estimation technique that is asymptotically unbiased, while negative sampling is best understood as a family of binary classification models that are useful for learning word representations but not as a general-purpose estimator.

연구 동기 및 목표

• 확률적 언어 모델링에서 노이즈 대비 추정(NCE)과 음성 샘플링을 언제 사용할 것인지에 대한 문헌 내 혼동을 해결하기 위해.
• 특히 우도 최대화와 분할 함수 추정과의 관계를 고려할 때, NCE와 음성 샘플링의 이론적 기초를 명확히 하기 위해.
• NCE가 최대우도 추정과 渐近적으로 편향이 없고 일치함을 보여주며, 음성 샘플링은 그렇지 않음을 입증하기 위해.
• 언어 모델링과 표현 학습의 목표에 따라 각 방법이 적절한 상황을 원칙적으로 이해하기 위해.

제안 방법

• NCE는 참조분포 $ q(w) $ 에서 추출된 노이즈 샘플과 함께 진짜 문맥-단어 쌍을 식별하는 이진 분류 작업으로 언어 모델 훈련 문제를 변환한다.
• 모델은 실제 분포 $ \tilde{p}(w|c) $ 에서 온 한 개의 양성 샘플과 $ q(w) $ 에서 온 $ k $ 개의 음성 샘플로 구성된 프록시 데이터셋을 사용하며, 올바른 레이블의 조건부 로그우도를 최대화한다.
• 계산이 불가능한 분할 함수 $ Z_{\theta}(c) $ 를 피하기 위해 NCE는 이를 학습 가능한 파라미터 $ z_c $ 로 추정하거나, 자기정규화 모델의 경우 $ z_c = 1 $ 로 설정한다.
• 최종 목적함수는 노이즈 분포에 대한 기대값을 $ k $ 개의 샘플된 음성 단어로 몬테카를로 근사하여 확률적 최적화를 가능하게 한다.
• 이론적 분석을 통해 $ k \to \infty $ 일 때 NCE 기울기가 진짜 로그우도 기울기로 수렴함을 보여주며, 이는 渐近적 일치성을 증명한다.
• 음성 샘플링은 $ k = |V| $ 이고 $ q(w) $ 가 균일한 특수한 경우 NCE의 일종으로 간주되지만, 그 목표 함수는 진짜 모델 우도와 일치하지 않아 생성 모델링에 대해 일관성이 없음을 의미한다.

실험 결과

연구 질문

• RQ1 노이즈 대비 추정(NCE)과 음성 샘플링은 이론적 기초와 渐近적 행동에서 어떻게 다를까?
• RQ2 NCE는 어떤 조건에서 渐近적으로 편향이 없으며, 이는 음성 샘플링과 어떻게 비교될 수 있을까?
• RQ3 왜 음성 샘플링은 일반적인 매개변수 추정을 위한 일반적인 추정기로 적합하지 않은가?
• RQ4 NCE는 중요도 샘플링과 같은 다른 우도 기반 추정 기법과 어떤 관계가 있는가?
• RQ5 언어 모델 훈련과 단어 표현 학습의 맥락에서 NCE를 음성 샘플링보다 선호해야 할 때는 언제인가?

주요 결과

• NCE는 일致한 추정기로서 무한히 많은 음성 샘플이 존재할 경우 진짜 최대우도 해에 渐近적으로 수렴하며, 그 기울기가 진짜 로그우도 기울기로 수렴함을 보여준다.
• 음성 샘플링은 식 (1)에 나타난 원래 언어 모델의 우도를 최적화하지 않으며, 그 목적 함수가 진짜 모델 분포와 일치하지 않기 때문이다.
• 만약 $ k = |V| $ 이고 $ q(w) $ 가 균일하다면 음성 샘플링은 NCE와 동일해지지만, 이 경우 실무에서는 계산이 불가능하다.
• NCE에서 $ z_c = 1 $ 로 설정하는 것은 신경망에 효과적이며, 자기정규화 출력을 가능하게 하고 파라미터 수를 줄여 성능 저하 없이 유지할 수 있다.
• 음성 샘플링은 생성 언어 모델 훈련을 위한 방법이 아니라 단어 표현을 학습하기 위한 이진 분류 프록시로 가장 잘 이해되어야 한다.
• 논문은 NCE는 언어 모델링에, 음성 샘플링은 표현 학습에 적합하지만 일반적인 매개변수 추정에는 적합하지 않다고 결론 내린다.