[논문 리뷰] Pitfalls of Static Language Modelling.

Angeliki Lazaridou, Adhiguna Kuncoro외 12명|arXiv (Cornell University)|2021. 02. 03.

Topic Modeling참고 문헌 77인용 수 27

한 줄 요약

이 논문은 정적 언어 모델링의 심각한 결함을 규명한다: 최신 기술의 트랜스포머 모델들은 훈련 기간을 초월해 미래 언어를 예측할 때 성능이 떨어진다. 저자들은 지속적인 지식 업데이트—단순한 모델 크기 확장보다 더 중요하게—가 이 성능 저하를 크게 늦춘다는 것을 입증하며, 동적이고 비정상적인 언어 환경에서 적응형 언어 모델과 정적 평가 프로토콜의 재고가 필요하다고 주장한다.

ABSTRACT

Our world is open-ended, non-stationary and constantly evolving; thus what we talk about and how we talk about it changes over time. This inherent dynamic nature of language comes in stark contrast to the current static language modelling paradigm, which constructs training and evaluation sets from overlapping time periods. Despite recent progress, we demonstrate that state-of-the-art Transformer models perform worse in the realistic setup of predicting future utterances from beyond their training period -- a consistent pattern across three datasets from two domains. We find that, while increasing model size alone -- a key driver behind recent progress -- does not provide a solution for the temporal generalization problem, having models that continually update their knowledge with new information can indeed slow down the degradation over time. Hence, given the compilation of ever-larger language modelling training datasets, combined with the growing list of language-model-based NLP applications that require up-to-date knowledge about the world, we argue that now is the right time to rethink our static language modelling evaluation protocol, and develop adaptive language models that can remain up-to-date with respect to our ever-changing and non-stationary world.

연구 동기 및 목표

• 정적 언어 모델이 훈련 기간을 초월해 언어를 예측할 때의 성능을 조사하기 위해.
• 모델 크기를 늘리는 것만으로도 동적 언어 환경에서 시간에 따른 일반화 문제를 해결하지 못하는 이유를 규명하기 위해.
• 지속적인 지식 업데이트가 장기적인 언어 모델 성능에 미치는 영향을 평가하기 위해.
• 실제 세계의 비정상성 고려 시 정적 언어 모델링 평가 프로토콜의 근본적 재고가 필요한 이유를 주장하기 위해.
• 최신 세계 지식을 유지할 수 있는 적응형 언어 모델 개발을 촉구하기 위해.

제안 방법

• 연구는 두 도메인에 걸쳐 다양한 세 가지 데이터셋을 사용하여 최신 트랜스포머 모델을 평가하며, 훈련 및 평가 세트를 시간적으로 겹치지 않는 기간으로 설정하여 미래 예측을 시뮬레이션한다.
• 성능은 훈련 데이터를 초월한 여러 시간 간격에서 측정되어 시간이 지남에 따른 성능 저하를 평가한다.
• 고정된 가중치를 가진 모델(정적)과 새로운 데이터로 점진적으로 업데이트 가능한 모델을 비교하여 지속적 학습의 영향을 평가한다.
• 모델 크기 확장을 잠재적 해결책으로 평가하지만, 시간에 따른 일반화 맥락에서 그 효과를 검증한다.
• 평가 프로토콜은 모델이 미래에 보지 못한 언어로 일반화해야 하는 실제 운영 환경을 반영하도록 설계된다.
• 분석은 훈련 기간 동안 볼 수 없었던 미래 시기의 데이터에서 성능을 측정하는 제로샷 시간 일반화에 집중한다.

실험 결과

연구 질문

• RQ1 최신 기술의 정적 언어 모델은 훈련 데이터를 초월한 시간 주기의 언어를 예측할 때 어떻게 성능을 보이는가?
• RQ2 모델 크기를 늘리는 것만으로도 정적 언어 모델의 시간에 따른 일반화 성능을 향상시킬 수 있는가?
• RQ3 지속적인 지식 업데이트가 언어 모델의 성능 저하를 시간이 지남에 따라 완화시킬 수 있는가?
• RQ4 정적 평가 프로토콜은 동적이고 비정상적인 언어 환경에서 실제 운영 조건을 얼마나 잘못 반영하는가?
• RQ5 정적 언어 모델링이 최신 세계 지식이 필요한 NLP 응용 프로그램에 미치는 영향은 무엇인가?

주요 결과

• 최신 트랜스포머 모델은 훈련 데이터를 초월한 시간 주기의 언어를 예측할 때 일관되게 성능 저하를 보인다.
• 모델 크기를 늘리는 것만으로는 시간에 따른 일반화 문제를 해결하지 못하며, 이는 척도만으로는 장기적 안정성이 확보되지 않음을 시사한다.
• 지속적으로 새로운 정보로 업데이트되는 모델은 정적 모델보다 시간이 지남에 따라 훨씬 느린 성능 저하를 보인다.
• 훈련 및 평가 기간이 겹치는 정적 평가 파라다임은 동적 언어 환경에서의 실제 성능 저하를 포착하지 못한다.
• 이러한 발견들은 지속적 학습 메커니즘이 변화하는 언어 환경에서 모델 성능을 유지하는 데 필수적임을 시사한다.
• 최신 세계 지식이 필요한 NLP 응용 프로그램을 지원하기 위해 정적 모델링에서 적응형 모델링 프레임워크로의 전환 필요성이 점점 커지고 있다.