[논문 리뷰] Large Alphabet Compression and Predictive Distributions through Poissonization and Tilting

Xiao Yang, Andrew R. Barron|arXiv (Cornell University)|2014. 01. 15.

Algorithms and Data Compression참고 문헌 10인용 수 4

한 줄 요약

이 논문은 크기가 큰 알파벳에서 i.i.d. 시퀀스에 대한 일반화된 압축 및 예측을 위한 포isson화와 기울임 변환 기반 방법을 제안한다. 이는 시퀀스 길이가 변동 가능한 경우를 대상으로 한다. 각 기호의 빈도를 독립적인 포아송 분포로 모델링하고 지수 기울임을 적용함으로써, 모멘트 조건을 만족하는 분포 클래스 내에서 최소 최대 손실을 달성하고, 모든 i.i.d. 분포에서 거의 최적의 성능을 보이며, 봉투 클래스와 멱법칙 분포를 따르는 알파벳에 대해 압축 부족량의 명시적 상한을 제공한다.

ABSTRACT

This paper introduces a convenient strategy for coding and predicting sequences of independent, identically distributed random variables generated from a large alphabet of size $m$. In particular, the size of the sample is allowed to be variable. The employment of a Poisson model and tilting method simplifies the implementation and analysis through independence. The resulting strategy is optimal within the class of distributions satisfying a moment condition, and is close to optimal for the class of all i.i.d distributions on strings of a given length. Moreover, the method can be used to code and predict strings with a condition on the tail of the ordered counts. It can also be applied to distributions in an envelope class.

연구 동기 및 목표

• 사전에 고정되지 않은 시퀀스 길이를 가진 크기가 큰 알파벳에서 i.i.d. 시퀀스에 대한 일반화된 코딩 및 예측 전략을 개발하는 것.
• 시퀀스 길이 N이 사전에 알려지지 않은 경우 변수 길이 문자열을 다루기 위해 총 빈도 수 N에 대한 포아송 모델을 도입함으로써 일반화된 코딩의 과제를 해결하는 것.
• 알파벳 확률에 대한 모멘트 조건을 만족하는 분포 클래스 내에서 최소 최대 손실 성능을 달성하는 것.
• 순서화된 빈도의 尾부에 대한 제약 조건과 봉투 클래스 내의 분포에 대한 제약 조건을 처리하기 위해 방법을 확장하는 것.
• 제안된 코딩 체계에 대한 압축 부족량의 이론적 상한을 제공하는 것. 특히 멱법칙 및 지프 법칙에 따르는 분포에서의 성능을 중심으로 한다.

제안 방법

• 전체 시퀀스 길이 N을 포아송 랜덤 변수로 모델링하여 각 기호 빈도 수 N_j 간의 독립성을 유도한다.
• 각 기호 빈도 수 N_j에 대해 평균 λ_j를 가진 독립적인 포아송 분포를 사용하며, 이 때 N = n 조건 하에서의 조건부 분포는 다항분포가 된다.
• 기울임 파라미터 a를 도입하여 포아송 빈도 수에 지수 기울임을 적용함으로써, 봉투 제약 조건 f(j)를 만족하는 기울인 분포 P_a(N_j)를 구성한다.
• 빈도 수에 대한 기울인 포아송 모델과 빈도 수가 주어진 조건 하에서의 문자열에 대한 균일 분포를 조합하여 일반화된 코딩 Q를 구성한다.
• 기울임 파라미터 a를 최적화함으로써 기대 손실(압축 부족량)을 최소화하고, 최적의 a*에 대한 닫힌 형태 근사식을 도출한다.
• 스티르링의 근사법과 기울인 분포의 정규화 상수 C_a,j에 대한 적분 상한을 사용하여 손실에 대한 상한을 유도한다.

실험 결과

연구 질문

• RQ1 시퀀스 길이 N이 사전에 알려지지 않은 경우, 크기가 큰 알파벳에서 i.i.d. 시퀀스에 대한 일반화된 코딩 체계를 설계할 수 있는가?
• RQ2 N이 랜덤한 경우, 주어진 길이의 문자열에 대한 모든 i.i.d. 분포 클래스에서 최소 최대 손실을 어떻게 최소화할 수 있는가?
• RQ3 알파벳 확률이 멱법칙 또는 지프의 법칙을 따를 경우, 제안된 포아송화 및 기울임 방법의 성능은 어떠한가?
• RQ4 희귀 기호의 빈도를 제한하는 등의 순서화된 빈도의 尾부에 대한 제약 조건이 존재할 경우, 이 방법은 어떻게 작동하는가?
• RQ5 λ_j ≤ n f(j) 조건을 만족하는 봉투 클래스에 정의된 분포에 대해, 이 방법이 거의 최적의 압축 부족량을 달성할 수 있는가?

주요 결과

• 제안된 방법은 모멘트 조건을 만족하는 분포 클래스 내에서 최소 최대 손실을 달성하며, 손실 상한이 m과 n에 독립적인 상수로 유계임을 보였다.
• 봉투 클래스의 경우, 기울임 파라미터 a를 최적으로 선택할 경우 압축 부족량이 O(1)로 유계지며, 이는 스티르링의 근사법을 통해 명시적 상한이 유도되었다.
• 손실 식 na log e + ∑ log C_a,j는 a* ≈ L / (2(n - ∑_{j>L} n f(j)))에서 최소화되며, 여기서 L은 f(j) > 0인 기호의 수이다.
• 고정 길이의 문자열에 대한 i.i.d. 분포에서 이 방법은 거의 최적의 성능을 보이며, 압축 부족량이 이론적 최소값에 매우 가까운 편이다.
• 멱법칙 분포를 따르는 알파벳의 경우, 기울인 포아송 모델의 구조와 봉투 제약 조건 덕분에 낮은 손실을 유지한다.
• 정규화 상수 C_a,j에 대한 상한은 날카롭다: 큰 nf(j)에 대해 C_a,j ≤ 1 + 1/√(2πa)이며, 작은 nf(j)에 대해 C_a,j ≤ e^{n f(j)}이다. 이는 효과적인 손실 제어를 가능하게 한다.