[논문 리뷰] A Measure-Theoretic Characterization of Tight Language Models

Li Du, Lucas Torroba Hennigen외 4명|arXiv (Cornell University)|2022. 12. 20.

Natural Language Processing Techniques인용 수 2

한 줄 요약

이 논문은 측도 이론을 활용해 언어 모델의 타이트함(tightness)을 특성화하며, Transformer 기반 모델과 유계 활성화 함수를 갖는 RNN은 항상 타이트함을 보임을 증명한다. 반면 n-gram 및 유한 상태 오토마타 모델은 특정 조건 하에 비타이트일 수 있다. 핵심 기여는 측도 이론과 Borel–Cantelli 보조정리(lemmata)를 활용한 타이트함 기준의 일반화로, 무한 수열에 확률 질량이 새어나가지 않기 위한 필요 및 충분 조건을 확립한다.

ABSTRACT

Language modeling, a central task in natural language processing, involves estimating a probability distribution over strings. In most cases, the estimated distribution sums to 1 over all finite strings. However, in some pathological cases, probability mass can ``leak'' onto the set of infinite sequences. In order to characterize the notion of leakage more precisely, this paper offers a measure-theoretic treatment of language modeling. We prove that many popular language model families are in fact tight, meaning that they will not leak in this sense. We also generalize characterizations of tightness proposed in previous works.

연구 동기 및 목표

• 측도 이론을 사용하여 언어 모델에서 무한 수열로의 확률 질량 유출 현상을 형식화한다.
• 자기회귀 언어 모델이 타이트함을 유지하는 조건을 명확히 한다. 즉, 유한 문자열에 총 확률 1을 할당한다.
• Welleck 등(2020)과 Meister 등(2022)의 이전 결과를 일반화하고 강화한다.
• n-gram 및 유한 상태 오토마타 언어 모델의 타이트함에 대한 필요 및 충분 조건을 확립한다.
• 다양한 활성화 함수를 갖는 현대 아키텍처, 특히 Transformer와 RNN의 타이트함을 분석한다.

제안 방법

• 무한 수열의 불가측 공간 위에서 언어 모델을 측도 이론적 형식으로 정의하며, 이는 유한 문자열 분포와의 차이를 명확히 한다.
• Σ∗ ∪ Σ∞ 값에 대한 랜덤 변수를 도입한다. 여기서 Σ∗는 유한 문자열의 집합이고, Σ∞는 무한 수열의 집합이다.
• Borel–Cantelli 보조정리를 적용하여, EOS 확률의 합산 가능성에 기반한 타이트함에 대한 충분 조건을 유도한다.
• 스토케스틱 유한 상태 오토마타에서 전이 행렬의 역행렬을 통해 타이트함을 특성화하며, 필수 및 충분 조건을 제공한다.
• 딥 네트워크에서 컴팩트성과 연속성의 논리를 활용한다: 유계 활성화 함수와 리미니 커넥션(residual connections)이 은닉 상태의 컴팩트성을 유지함을 보여준다.
• Proposition 4.3에 의해, Transformer의 EOS 확률이 양수 상한 ϵ > 0 이하로 유계임을 증명한다. 이는 타이트함을 보장한다.

실험 결과

연구 질문

• RQ1 언어 모델이 유한 문자열에 총 확률 1을 할당하지 못하고, 무한 수열으로 확률 질량이 새어나가는 조건은 무엇인가?
• RQ2 측도 이론과 Borel–Cantelli 보조정리를 사용하여 타이트함을 어떻게 형식화할 수 있는가?
• RQ3 n-gram 및 유한 상태 오토마타 언어 모델에서 타이트함을 보장하는 전이 행렬 조건은 무엇인가?
• RQ4 Transformer 기반 언어 모델은 항상 타이트한가? 어떤 구조적 성질이 이를 보장하는가?
• RQ5 ReLU 활성화 함수를 사용하는 비타이트 RNN 언어 모델을 구성할 수 있는가? 은닉 상태 노름에 대한 어떤 조건이 타이트함을 보장하는가?

주요 결과

• Transformer 기반 언어 모델은 항상 타이트함을 보인다. 이는 시퀀스 길이에 관계없이 EOS 확률이 양수 상한 ϵ > 0 이하로 유계이기 때문이다.
• RNN 언어 모델은 최대 임bedding 거리 k와 은닉 상태 노름 ∥bht∥2의 곱이 큰 t에 대해 log t 보다 느리게 증가할 경우 타이트함을 보인다.
• n-gram 및 유한 상태 오토마타 언어 모델은 전이 행렬의 스펙트럴 반경의 역행렬이 1을 초과할 경우 비타이트함을 보이며, 이는 타이트함에 대한 필요 및 충분 조건을 제공한다.
• 이 논문은 Welleck 등(2020)의 결과를 일반화하고 강화하여, RNN 타이트함에 대한 노름 기반 충분 조건이 유도된 프레임워크 하에서 필수 조건이기도 하다는 것을 보여준다.
• 기존 문헌의 모호함을 해결하기 위해, 측도 이론을 활용해 무한 수열을 표본 공간의 일부로 공식적으로 다룸으로써 정밀성을 확보한다.
• 이 논문은 Transformer의 EOS 확률이 컴팩트 집합 위에서 연속 함수임을 증명하며, 이는 양수 하한을 보장하고, 결과적으로 타이트함을 보장한다.