[논문 리뷰] Calibration, Entropy Rates, and Memory in Language Models

Mark Braverman, Xinyi Chen외 4명|arXiv (Cornell University)|2019. 06. 11.

Topic Modeling참고 문헌 38인용 수 13

한 줄 요약

이 논문은 언어 모델의 장기적 분포 불일치를 탐지하고 수정하기 위한 校정 기반 방법을 제안한다. 또한 최신 모델인 LSTMs와 Transformers가 자동회귀 생성 중에 상당한 엔트로피율 열화를 겪고 있음을 보여주며, 보정된 예측이 진정된 분포적 성질과 더 잘 일치하도록 모델 예측을 校정함으로써 생성 품질 향상과 메모리 추정 향상을 달성한다. 이는 약 20점의 퍼플렉서티 감소와 먼 과거 문맥과의 상호정보량에 대한 상한선 제공을 통해 이루어진다.

ABSTRACT

Building accurate language models that capture meaningful long-term dependencies is a core challenge in natural language processing. Towards this end, we present a calibration-based approach to measure long-term discrepancies between a generative sequence model and the true distribution, and use these discrepancies to improve the model. Empirically, we show that state-of-the-art language models, including LSTMs and Transformers, are \emph{miscalibrated}: the entropy rates of their generations drift dramatically upward over time. We then provide provable methods to mitigate this phenomenon. Furthermore, we show how this calibration-based approach can also be used to measure the amount of memory that language models use for prediction.

연구 동기 및 목표

• 자기회귀 언어 모델 생성에서 장기적 분포 불일치, 특히 엔트로피율과 메모리 사용에 대한 원인을 규명하고 이를 수정하는 것.
• 재학습 없이도 모델의 보정을 향상시킬 수 있는 이론적으로 타당하고 계산적으로 효율적인 보정 절차를 개발하는 것.
• 먼 옛날 토큰과의 상호정보량을 통해 언어 모델이 사용하는 장기적 기억의 양을 정량화하는 것.
• 높은 1단계 퍼플렉서티가 정확한 장기적 생성 품질을 보장하지는 않으며, 현재 평가 지표에 심각한 격차가 있음을 드러내는 것.
• 신경 언어 모델에서 미래를 고려한 생성을 평가하고 향상시키기 위한 원칙적인 프레임워크를 제공하는 것.

제안 방법

• 모델 예측이 기준 분포와 더 잘 일치하도록 보정하기 위해 한 개의 변수 α에 대한 1차원 볼록 최적화를 사용하는 보정 프레임워크를 제안한다.
• 보정된 예측을 모델링하기 위해 Dα(Z|Y,X) = D(Z|Y,X) * Ŵ(Z|Y,X)^α / Zα 라는 분포의 가족을 정의한다. 여기서 D는 원본 모델이고, Ŵ는 기준 분포이다.
• 보정 품질의 지표로 진정된 분포와 보정된 모델 간의 교차 엔트로피를 사용하며, 이는 효율적인 몬테카를로 추정이 가능하다.
• 보정된 분포를 사용하여 먼 과거 토큰과의 모델 예측 간 상호정보량에 대한 상한선을 유도함으로써 메모리 추정이 가능해진다.
• 제한된 메모리 기반 기준 모델(Ŵ)을 사용하여 모델을 경험적으로 보정함으로써, τ에 따라 의존하는 메모리 상한선를 확보한다. 이 기준 모델은 최근 컨텍스트만을 기반으로 다음 토큰을 예측한다.
• LSTM 및 Transformer 모델에 보정 절차를 적용하여 장기 시퀀스에서 엔트로피율과 퍼플렉서티 향상이 일관되게 이루어짐을 보여준다.

실험 결과

연구 질문

• RQ1 최신 언어 모델인 LSTMs와 Transformers는 자동회귀 생성에서 진정된 언어 분포와 얼마나 벗어나 있는가?
• RQ2 재학습 없이도 보정 기반 접근이 자동회귀 생성에서 엔트로피율 열화를 보정할 수 있는가?
• RQ3 보정된 모델을 사용하여 먼 과거 컨텍스트와의 상호정보량을 어떻게 추정하고 상한선을 설정할 수 있는가?
• RQ4 높은 1단계 퍼플렉서티는 장기적 생성 품질을 신뢰할 만하게 보장하는가, 아니면 숨겨진 분포 불일치가 존재하는가?
• RQ5 보정 기반 방법은 신경 언어 모델에서 미래를 고려한 생성을 평가하고 향상시키기 위한 일반적인 프레임워크로 활용될 수 있는가?

주요 결과

• 최신 언어 모델, 특히 GPT-2와 AWD-LSTM은 자동회귀 생성 중에 엔트로피율이 급격히 증가한다. 예를 들어 WebText에서 GPT-2는 엔트로피율을 23.7에서 61.2로 증가시키며, 이는 보정 부족을 시사한다.
• 제안된 보정 절차는 LSTM 모델에서 퍼플렉서티를 약 20점 감소시켜 장기적 생성 품질 향상이 뚜렷하게 이루어짐을 보여준다.
• 보정된 모델은 먼 과거 컨텍스트와의 상호정보량에 대해 더 날카로운 상한선을 확보하며, 이는 τ가 증가할수록 메모리 사용이 감소한다는 기대와 일치한다.
• 경험적 결과로는 더 긴 τ에 대해 최적의 보정 계수 α*가 음수가 되며, 이는 원본 모델의 예측이 기준 분포에 비해 과신임을 시사한다.
• 진정된 분포와 기준 모델(Ŵ) 간의 교차 엔트로피는 몬테카를로를 통해 효율적으로 추정 가능하여 확장 가능한 메모리 추정이 가능하다.
• 이론적 분석은 1단계 KL 발산이 엔트로피율과 같은 장기적 성질을 제어하지 못함을 확인하며, 보정 기반 보정의 필요성을 정당화한다.