[논문 리뷰] On principles of large deviation and selected data compression

Yuri Suhov, Izabella Stuhl|arXiv (Cornell University)|2016. 04. 24.

Wireless Communication Security Techniques참고 문헌 6인용 수 8

한 줄 요약

이 논문은 대량 이탈 원리와 유틸리티 기반 데이터 압축을 통합하여 샤논의 무잡음 코딩 정리의 확장을 제안한다. 가중치 함수에 기반한 문자열 선택을 통해 저장을 최적화하는 확률적 프레임워크를 제시하며, 약한 조건 하에서 엔트로피 최소화를 통한 점근적 저장 속도 유도를 수행한다. 주요 결과는 엔트로피와 유틸리티 제약 조건을 포함하는 변분 공식에 의해 지배되는 정확한 점근적 부피 증가율이다.

ABSTRACT

The Shannon Noiseless coding theorem (the data-compression principle) asserts that for an information source with an alphabet $\mathcal X=\{0,\ldots ,\ell -1\}$ and an asymptotic equipartition property, one can reduce the number of stored strings $(x_0,\ldots ,x_{n-1})\in {\mathcal X}^n$ to $\ell^{nh}$ with an arbitrary small error-probability. Here $h$ is the entropy rate of the source (calculated to the base $\ell$). We consider further reduction based on the concept of utility of a string measured in terms of a rate of a weight function. The novelty of the work is that the distribution of memory is analyzed from a probabilistic point of view. A convenient tool for assessing the degree of reduction is a probabilistic large deviation principle. Assuming a Markov-type setting, we discuss some relevant formulas, including the case of a general alphabet.

연구 동기 및 목표

• 유용성 기반의 데이터 문자열 선택을 통합함으로써 샤논의 무잡음 코딩 정리를 확장하는 것.
• 오직 '가치 있는' 문자열—유틸리티 함수에 의해 가중치가 부여된 것—만 저장되는 조건부 최적화 문제로 데이터 저장을 모델링하는 것.
• 대량 이탈 이론을 활용하여 마르코프 및 i.i.d. 소스에 대해 점근적 저장 부피를 분석하는 것.
• 엔트로피 및 유틸리티 제약 조건 하에서 저장 감소의 정확한 점근적 비율을 도출하는 것.
• 기존 엔트로피 기반 접근 방식을 초월하여 메모리 사용 최적화를 위한 확률적 프레임워크를 제공하는 것.

제안 방법

• 문자열 $\mathbf{x}_{0}^{n-1} \in \mathcal{X}^n$ 에 대해 유틸리티를 할당하기 위해 가중치 함수 $\phi_n(\mathbf{x}_{0}^{n-1})$ 를 사용하며, 덧셈형과 곱셈형 형태를 구분한다.
• 확률 측도 $p^{\rm{st}}_n$ 하에서 선택된 문자열의 점근적 부피 행동을 분석하기 위해 대량 이탈 이론을 적용한다.
• 유틸리티가 임계값 $\eta$ 를 초과하고 정보량이 $h + \epsilon$ 이하인 문자열의 제약 집합 $\mathcal{B}_n$ 을 정의한다. 여기서 $h$ 는 엔트로피 속도이다.
• 유틸리티 및 엔트로피 제약 조건을 만족하는 확률 측도 집합 위에서 엔트로피 기능 $H(\upsilon)$ 의 하한으로 점근적 저장 속도 $\gamma(\epsilon,\eta)$ 를 도출한다.
• 곱셈형 가중치 함수 $\phi_n(\mathbf{x}) = \prod_{i=0}^{n-1} \psi(x_i)$ 의 경우, 변분 공식에서 $\varphi$ 를 $\log \psi$ 로 대체한다.
• 대량 이탈 원리를 활용하여 일반 집합의 확률의 지수 감쇠 속도를 특성화하며, 이를 엔트로피 속도 및 유틸리티 제약 조건과 연결한다.

실험 결과

연구 질문

• RQ1 문자열 선택이 확률 외에 유틸리티 함수에 의해 이루어질 경우 데이터 압축은 어떻게 최적화될 수 있는가?
• RQ2 주어진 임계값 $\eta$ 를 초과하는 유틸리티를 가진 모든 문자열을 저장하기 위해 필요한 점근적 저장 부피는 얼마인가?
• RQ3 대량 이탈 원리는 유틸리티 제약 조건 하에서 저장 감소의 정확한 점근적 비율 도출에 어떻게 기여하는가?
• RQ4 엔트로피 속도 $h$ 와 가중치 함수 $\varphi$ 는 최소 달성 가능한 저장 부피를 결정하는 데 어떤 역할을 하는가?
• RQ5 i.i.d. 또는 마르코프 소스의 경우, 저장 속도에 대한 변분 공식을 단순화할 수 있는가?

주요 결과

• 유틸리티가 최소 $\eta$ 이상이고 정보량이 최대 $h + \epsilon$ 이하인 문자열의 점근적 저장 속도는 $\gamma(\epsilon, \eta) = \inf \{ H(\upsilon) : \upsilon \in A \} $ 으로 주어지며, 여기서 $A$ 는 유틸리티 및 엔트로피 제약 조건을 만족하는 확률 측도 집합이다.
• i.i.d. 소스의 경우, 저장 속도는 $\gamma(\epsilon, \eta) = \inf \{ H(\upsilon) : \upsilon \in D \} $ 로 단순화되며, $D$ 는 $\varphi = \log \psi$ 와 $-\int \log p^{\rm{so}}(x) \, \upsilon(dx) \leq h + \epsilon$ 의 적분 제약 조건을 만족한다.
• 선택된 문자열의 부피 $v_n = \nu^n(\mathcal{B}_n)$ 에 대해 $\lim_{n \to \infty} \frac{1}{n} \log v_n = \gamma({\tt P}^{\rm{so}}, \epsilon, \eta)$ 가 성립하며, 이는 저장 감소의 지수적 속도를 확인한다.
• 곱셈형 가중치 함수 $\phi_n(\mathbf{x}) = \prod \psi(x_i)$ 의 경우, 저장 속도는 $\iota({\tt P}^{\rm{so}}, \epsilon, \eta)$ 로 주어지며, 동일한 변분 공식이지만 $\varphi$ 가 $\log \psi$ 로 대체된다.
• 엔트로피 기능 $H(\mu)$ 는 볼록이며, 제약 조건 집합 $D$ 는 볼록하므로, 특정 조건 하에서 최소화자에 대한 유일성 가능성이 제기된다.
• 이 프레임워크는 유틸리티를 통합함으로써 샤논의 무잡음 코딩 정리를 일반화하며, 증명 가능한 점근적 효율성을 갖는 선택적 데이터 압축을 위한 체계적인 접근법을 제공한다.