[논문 리뷰] Contrastive Entropy: A new evaluation metric for unnormalized language models

Kushal Arora, Anand Rangarajan|arXiv (Cornell University)|2016. 01. 03.

Topic Modeling참고 문헌 11인용 수 6

한 줄 요약

이 논문은 정규화되지 않은 언어 모델을 평가하기 위한 새로운 판별적 평가 지표인 대비 엔트로피(CE)를 소개한다. CE는 모델이 올바른 문장과 그 왜곡된 버전을 구별하는 능력을 측정한다. 퍼플렉서티와 달리 CE는 정규화된 확률을 필요로 하지 않아 문장 수준의 모델에 적합하다. 실험 결과, 판별적으로 훈련된 문장 수준의 RNN은 특히 저수준의 왜곡에서 뛰어난 CE 점수를 기록하며, 표준 RNN과 n-gram 모델을 능가한다.

ABSTRACT

Perplexity (per word) is the most widely used metric for evaluating language models. Despite this, there has been no dearth of criticism for this metric. Most of these criticisms center around lack of correlation with extrinsic metrics like word error rate (WER), dependence upon shared vocabulary for model comparison and unsuitability for unnormalized language model evaluation. In this paper, we address the last problem and propose a new discriminative entropy based intrinsic metric that works for both traditional word level models and unnormalized language models like sentence level models. We also propose a discriminatively trained sentence level interpretation of recurrent neural network based language model (RNN) as an example of unnormalized sentence level model. We demonstrate that for word level models, contrastive entropy shows a strong correlation with perplexity. We also observe that when trained at lower distortion levels, sentence level RNN considerably outperforms traditional RNNs on this new metric.

연구 동기 및 목표

• 정규화되지 않은 언어 모델, 특히 분할 함수를 계산하기 어려운 모델에 대해 퍼플렉서티의 한계를 해결하기 위해.
• 단어 수준과 문장 수준 언어 모델 모두에 적용 가능한 판별적 평가 지표를 제안하기 위해.
• 대비 학습이 새로운 지표에서 성능을 향상시키며, 특히 문장 수준 모델에서 그러한 향상이 두드러지게 나타남을 보여주기 위해.
• 대비 엔트로피가 WER와 더 강한 상관관계를 가지며, 이는 둘 다 판별적 성격을 공유하기 때문이라는 가설을 제시하기 위해.

제안 방법

• 원본 문장과 왜곡된 문장 간의 구별 능력을 평가하는 판별적 지표로 대비 엔트로피(CE)를 제안한다.
• CE를 원본 문장과 그 왜곡된 버전 간의 교차 엔트로피율로 정의하며, 공식은 $ H_C = -\frac{1}{N} \sum_{W_n \in T} \log(m(W_n)) $ 로 표현되며, 여기서 $ m $ 은 모델의 정규화되지 않은 확률이다.
• 문장 수준의 RNN(sRNN)을 훈련할 때, 도메인 내 및 도메인 외 문장 간의 판별 능력을 극대화하기 위해 대비 추정 원리를 적용한다.
• 훈련 중에 왜곡 수준(10%, 30%, 50%)을 적용하여 부정 예시를 생성함으로써 자연스러운 변형에 대한 일반화 능력을 향상시킨다.
• ℓ₂ 정규화를 적용한 경사 하강법을 사용하고, Penn Treebank WSJ 데이터에서 SRILM 및 RNNLM 툴킷을 활용해 평가한다.
• 모델 간 성능을 정규화하기 위해 대비 엔트로피 비율 $ H_{CR} = \frac{H_C(\text{test distortion})}{H_C(\text{baseline distortion})} $ 을 도입한다.

실험 결과

연구 질문

• RQ1 대비 엔트로피와 같은 판별적 지표가 정규화되지 않은 언어 모델 평가에서 퍼플렉서티를 능가할 수 있는가?
• RQ2 대비 추정을 사용해 문장 수준의 RNN을 훈련하면, 새로운 문장 변형에 대한 판별 능력이 향상되는가?
• RQ3 대비 엔트로피와 WER 간에 강한 상관관계가 존재하는가? 이는 퍼플렉서티보다 실제 성능 예측 능력이 뛰어나다는 것을 시사한다.
• RQ4 훈련 중에 사용된 왜곡 수준의 선택이 새로운 지표에서 문장 수준 언어 모델의 성능에 어떤 영향을 미치는가?

주요 결과

• 단어 수준 모델에 대해서는 대비 엔트로피가 퍼플렉서티와 강한 상관관계를 보이며, 기존 지표와의 일관성을 검증한다.
• 10% 왜곡 수준에서 훈련된 sRNN 모델(sRNN-75(10))이 50% 왜곡 수준에서 최고의 대비 엔트로피 점수(11.01)를 기록하며, 모든 단어 수준 모델을 능가한다.
• sRNN-75(10)은 50%/10% 왜곡에서 대비 엔트로피 비율 5.257을 기록하며, RNN(2.596)과 n-gram 모델보다 뚜렷이 높은 판별 능력을 보여준다.
• 50% 왜곡 수준에서 훈련된 sRNN-75(50)는 저수준 왜곡 수준(10%)에서는 성능이 열악하며(1.978), 고수준 왜곡 수준에서는 성능 비율이 향상되어(3.275) 훈련 왜곡 수준의 영향을 확인한다.
• 단어 수준 모델의 대비 엔트로피 비율(H_CR)은 2.0~2.7 사이로 안정되어 있으나, 문장 수준 모델은 더 높은 비율을 보이며 일반화 능력이 뛰어나다는 것을 시사한다.
• sRNN-150(10)은 대비 엔트로피 비율 5.074를 기록하며, sRNN-75(10)의 5.257보다 略로 낮다. 이는 더 큰 잠재 공간이 항상 성능 향상으로 이어지지 않는다는 것을 시사한다.