[논문 리뷰] Noise Contrastive Estimation and Negative Sampling for Conditional Models: Consistency and Statistical Efficiency

Zhuang Ma, Michael Collins|arXiv (Cornell University)|2018. 09. 06.

Natural Language Processing Techniques참고 문헌 11인용 수 11

한 줄 요약

이 논문은 조건부 모델에 대한 노이즈 컨트라스트 추정(NCE)의 엄밀한 이론적 분석을 제공하며, 분류 기반과 랭킹 기반 NCE의 두 변형을 비교한다. 랭킹 기반 NCE는 파artition 함수 $ Z(x;\theta) $ 가 입력에 따라 변할 수 있는 경우에도 일致성을 보장하는 더 약한 조건 하에서 일치성을 확보하는 반면, 두 변형 모두 음성 샘플 수가 증가함에 따라 渐近적으로 피셔 효율성을 달성한다.

ABSTRACT

Noise Contrastive Estimation (NCE) is a powerful parameter estimation method for log-linear models, which avoids calculation of the partition function or its derivatives at each training step, a computationally demanding step in many cases. It is closely related to negative sampling methods, now widely used in NLP. This paper considers NCE-based estimation of conditional models. Conditional models are frequently encountered in practice; however there has not been a rigorous theoretical analysis of NCE in this setting, and we will argue there are subtle but important questions when generalizing NCE to the conditional case. In particular, we analyze two variants of NCE for conditional models: one based on a classification objective, the other based on a ranking objective. We show that the ranking-based variant of NCE gives consistent parameter estimates under weaker assumptions than the classification-based method; we analyze the statistical efficiency of the ranking-based and classification-based variants of NCE; finally we describe experiments on synthetic data and language modeling showing the effectiveness and trade-offs of both methods.

연구 동기 및 목표

• NLP에서 핵심적인 역할을 하는 조건부 모델에서 노이즈 컨트라스트 추정(NCE)에 대한 이론적 이해 부족을 해결하기 위해.
• 분류 기반과 랭킹 기반 NCE의 두 NCE 변형의 일치성과 통계적 효율성 분석하기 위해.
• NCE를 사용한 조건부 모델에서 일관된 매개변수 추정을 위해 필요한 가정을 명확히 하기 위해.
• Word2Vec 및 언어 모델링과 같은 NLP에서 널리 사용되는 음성 샘플링 방법의 이론적 기초를 통합하고 명확히 하기 위해.
• 합성 데이터와 실제 데이터 실험을 통해 두 NCE 변형 간의 상호 교환 관계 평가하기 위해.

제안 방법

• 모델이 진짜 레이블을 음성 샘플들보다 더 높게 랭킹하도록 학습하는 조건부 모델을 위한 랭킹 기반 NCE 목표함수를 제안한다.
• 진짜 레이블과 음성 레이블 간의 이진 분류 문제로 간주하는 분류 기반 NCE 변형을 도입한다.
• 일치성 분석을 위해, 랭킹 기반 NCE가 파artition 함수 $ Z(x;\theta) $ 가 $ x $ 에 따라 변할 수 있는 가정 하에 일관된 추정치를 도출함을 증명한다. 반면 분류 기반 변형은 $ Z(x;\theta) $ 가 $ x $ 에 관계없이 일정해야 한다는 조건이 필요하다.
• 두 NCE 변형에 대해 渐近 정규성과 피셔 효율성을 도출하여, 음성 샘플 수 $ K \to \infty $ 가 되면 둘 다 최대우도추정(MLE)과 동일한 渐近 평균제곱오차를 달성함을 보여준다.
• 헤시안 기반 근사법을 사용하여 NCE 추정기의 渐近 공분산을 분석하고, 이를 피셔 정보 행렬과 연결한다.
• 웨일의 부등식과 행렬 섭동 이론을 활용하여 추정된 피셔 정보 행렬과 진짜 피셔 정보 행렬 간의 차이를 유계로 제한하여 수렴성을 보장한다.

실험 결과

연구 질문

• RQ1 분류 기반 NCE 방법이 조건부 모델에서 언제 일관성이 있는가?
• RQ2 파artition 함수 $ Z(x;\theta) $ 가 입력 $ x $ 와 함께 변할 경우, 점수 함수 $ s(x,y;\theta) $ 가 $ \log Z(x;\theta) $ 를 흠모할 필요 없이도 랭킹 기반 NCE 방법이 일관성을 확보할 수 있는가?
• RQ3 랭킹 기반과 분류 기반 NCE 변형의 통계적 효율성은 최대우도추정(MLE)과 어떻게 비교되는가?
• RQ4 NCE 추정기의 渐近 분포는 무엇이며, 피셔 정보 행렬과 어떤 관계가 있는가?
• RQ5 두 NCE 변형은 합성 데이터와 언어 모델링 과제에서 실제로 어떻게 성능을 내는가?

주요 결과

• 랭킹 기반 NCE 방법은 $ Z(x;\theta) $ 가 $ x $ 와 함께 변할 수 있다는 더 약한 가정 하에서도 일관성을 보장하지만, 분류 기반 NCE는 $ Z(x;\theta) $ 가 $ x $ 와 관계없이 일정해야 한다는 조건을 필요로 한다. 즉, $ Z(x;\theta) = H(\theta) $ 이다.
• 분류 기반 NCE는 점수 함수 $ s(x,y;\theta) $ 가 $ \log Z(x;\theta) $ 를 충분히 흡수할 수 있을 정도로 강력해야만 일관성이 확보되며, 이는 매우 강한 조건이다.
• 랭킹 기반과 분류 기반 NCE 변형 모두 $ K \to \infty $ 가 되면 피셔 효율성을 달성하여, 그들의 渐近 평균제곱오차가 MLE와 동일하다.
• NCE 추정기의 渐近 공분산 행렬은 피셔 정보 행렬의 역행렬로 수렴하며, 그 차이는 $ O(1/K) $ 로 유계로 제한되어 일관된 추정을 보장한다.
• 합성 데이터와 언어 모델링 실험을 통해 $ Z(x;\theta) $ 가 $ x $ 와 함께 변할 경우 랭킹 기반 NCE가 더 강건하고 효과적임을 확인하였으며, 유리한 조건에서는 두 방법이 유사한 성능을 보였다.
• 이론적 분석은 Word2Vec 및 NCE 기반 언어 모델을 포함한 NLP에서 널리 사용되는 음성 샘플링 방법의 통합된 이론적 프레임워크를 제공한다.