[논문 리뷰] Evaluating Distributional Distortion in Neural Language Modeling

Benjamin LeBrun, Alessandro Sordoni외 1명|arXiv (Cornell University)|2022. 03. 24.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 자연어에서 희귀하고 새로운 문장 구조의 확률을 추정하는 데 있어 신경망 언어모델(LSTM 및 Transformer)의 성능을 평가하기 위한 통제된 평가 프레임워크를 제안한다. 사전에 훈련된 Transformer를 기준 생성 모델로 사용하여 정확한 문장 확률을 가진 인공 언어를 생성함으로써, 연구는 신경망 LMs가 잘 구성된 희귀 문장의 확률을 체계적으로 과소평가하고, 잘못 구성된 문장의 확률을 과대평가함을 밝혀냈다. 이 과소평가 현상은 더 많은 훈련 데이터를 사용해도 지속되며, 엔트로피가 낮은 분포일수록 악화된다.

ABSTRACT

A fundamental characteristic of natural language is the high rate at which speakers produce novel expressions. Because of this novelty, a heavy-tail of rare events accounts for a significant amount of the total probability mass of distributions in language (Baayen, 2001). Standard language modeling metrics such as perplexity quantify the performance of language models (LM) in aggregate. As a result, we have relatively little understanding of whether neural LMs accurately estimate the probability of sequences in this heavy-tail of rare events. To address this gap, we develop a controlled evaluation scheme which uses generative models trained on natural data as artificial languages from which we can exactly compute sequence probabilities. Training LMs on generations from these artificial languages, we compare the sequence-level probability estimates given by LMs to the true probabilities in the target language. Our experiments reveal that LSTM and Transformer language models (i) systematically underestimate the probability of sequences drawn from the target language, and (ii) do so more severely for less-probable sequences. Investigating where this probability mass went, (iii) we find that LMs tend to overestimate the probability of ill formed (perturbed) sequences. In addition, we find that this underestimation behaviour (iv) is weakened, but not eliminated by greater amounts of training data, and (v) is exacerbated for target distributions with lower entropy.

연구 동기 및 목표

• 희귀하고 새로운 문장 구조의 확률을 추정하는 데 있어 신경망 언어모델(LSTM 및 Transformer)의 성능을 조사하는 것. 이는 개별적으로는 낮은 확률을 가지지만 종합적으로는 중요할 수 있는 문장들이다.
• 기존의 퍼플렉서티와 같은 표준 지표가 이러한 행동을 포착하지 못하는 바탕의 언어 분포의 꼬리 부분에서 언어모델의 인스턴스 수준 성능에 대한 이해의 격차를 메우는 것.
• 사전에 훈련된 Transformer에서 유도된 인공 언어를 사용하여 통제된 평가 체계를 개발함으로써 진정한 문장 확률을 정확하게 계산할 수 있도록 하는 것.
• 훈련 데이터 크기와 목표 분포의 특성(예: 엔트로피)이 언어모델의 확률 추정 오차에 어떻게 영향을 미치는지 분석하는 것.
• 희귀하고 잘 구성된 문장의 과소평가된 확률 질량이 어디로 이동하는지 분석하며, 특히 잘못 구성된(변형된) 문장과의 비교를 통해 이를 규명하는 것.

제안 방법

• 자연어 데이터에 대해 미세조정된 사전에 훈련된 Transformer 언어모델(GPT-2 등)을 사용하여 확률이 정확히 알려진 인공 언어를 정의하는 생성 모델로 활용한다.
• 이 생성 모델에서 문장을 샘플링하여 하류 언어모델(LSTM 및 Transformer)의 훈련 코퍼스를 구성함으로써 통제된 목표 분포를 형성한다.
• 이러한 인공 코퍼스에 대해 별도의 언어모델을 훈련시키고, 생성 모델에서의 진정한 확률과 비교하여 언어모델이 예측한 문장 확률을 분석한다.
• 생성 모델의 조건부 분포의 엔트로피를 제어하여 다양한 분포 특성을 가진 인공 언어를 생성한다(예: 높은 엔트로피 대비 낮은 엔트로피).
• 잘 구성된 문장에 작은 문법적으로 잘못된 변화를 가하여 펌프팅 실험을 수행하고, 원래의 진정한 확률과 언어모델의 확률 추정치를 비교한다.
• 희귀 문장과 그 진정한 분포에서의 이탈 정도에 중점을 두어 문장 수준의 확률 추정 오차를 측정함으로써 모델 성능을 정량화한다.

실험 결과

연구 질문

• RQ1 신경망 언어모델은 자연어 분포에서 희귀하고 잘 구성된 문장의 확률을 체계적으로 과소평가하는가?
• RQ2 과소평가의 정도는 문장의 희귀도(역 빈도)에 따라 어떻게 변하는가?
• RQ3 과소평가된 희귀 문장의 확률 질량은 어디로 이동하는가? 잘못된 문장이나 변형된 문장의 확률을 과대평가하는가?
• RQ4 훈련 데이터 크기를 늘일수록 신경망 언어모델의 확률 왜곡 정도는 어떻게 변화하는가?
• RQ5 엔트로피와 같은 목표 분포의 특성이 언어모델의 확률 추정에서 과소평가의 정도에 어떻게 영향을 미치는가?

주요 결과

• LSTM 및 Transformer 언어모델은 목표 언어에서 유래한 잘 구성된 문장의 확률을 체계적으로 과소평가하며, 특히 희귀한 문장일수록 더욱 심각하다.
• 희귀도가 낮을수록 과소평가가 더 심해지며, 이는 분포의 꼬리 부분을 충분히 표현하지 못하는 실패를 시사한다.
• 과소평가된 확률 질량은 고빈도(머리 부분) 문장으로 이동하지 않고, 오히려 잘못된 문장이나 변형된 문장으로 과도하게 할당된다.
• 훈련 데이터를 늘일수록 과소평가의 정도는 감소하지만, 이를 완전히 제거하지는 않으며, 이는 모델 아키텍처나 훈련 과정 자체에 내재된 문제일 가능성이 있음을 시사한다.
• 엔트로피가 낮은 목표 분포일수록 과소평가가 악화되며, 이는 모델가 더 구조적이고 낮은 무작위성의 분포를 다루는 데 어려움을 겪음을 나타낸다.
• 결과는 신경망 언어모델이 확률 질량을 너무 균일하게 문장 공간 전반에 분포시키며, 특히 분포의 꼬리 부분에서 높은 확률을 가진 잘 구성된 문장에 집중하지 못함을 시사한다.