[논문 리뷰] Weighted information and entropy rates

Yuri Suhov, Izabella Stuhl|arXiv (Cornell University)|2016. 12. 29.

Statistical Mechanics and Entropy참고 문헌 14인용 수 3

한 줄 요약

이 논문은 추가적 및 곱셈적 가중 함수(Weight Function, WF)를 사용하여 확률적 과정에 대한 가중 엔트로피 및 정보 비율을 도입하며, 점점 커지는 비율의 점근적 법칙을 설정한다: 추가적 WF의 경우 $\frac{1}{n^2}H^\mathrm{w}_{\phi_n}$, 곱셈적 WF의 경우 $\frac{1}{n}\log H^\mathrm{w}_{\phi_n}$이다. 이는 에르고딕 및 마르코프 과정에서 주요 및 보조 비율을 유도하며, 정규 과정에서 가중 엔트로피에 대한 샤논–맥밀런–브라이언 정리의 일반화를 제공한다. 특히 제곱형 및 지수형 가중 함수 하에서 엔트로피 비율에 대한 명시적 공식을 도출한다.

ABSTRACT

The weighted entropy $H^{ m w}_ϕ(X)=H^{ m w}_ϕ(f)$ of a random variable $X$ with values $x$ and a probability-mass/density function $f$ is defined as the mean value ${\mathbb E} I^{ m w}_ϕ(X)$ of the weighted information $I^{ m w}_ϕ(x)=-ϕ(x)\log\,f(x)$. Here $x\mapstoϕ(x)\in{\mathbb R}$ is a given weight function (WF) indicating a 'value' of outcome $x$. For an $n$-component random vector ${\mathbf{X}}_0^{n-1}=(X_0,\ldots ,X_{n-1})$ produced by a random process ${\mathbf{X}}=(X_i,i\in{\mathbb Z})$, the weighted information $I^{ m w}_{ϕ_n}({\mathbf x}_0^{n-1})$ and weighted entropy $H^{ m w}_{ϕ_n}({\mathbf{X}}_0^{n-1})$ are defined similarly, with an WF $ϕ_n({\mathbf x}_0^{n-1})$. Two types of WFs $ϕ_n$ are considered, based on additive and a multiplicative forms ($ϕ_n({\mathbf x}_0^{n-1})=\sum\limits_{i=0}^{n-1}φ (x_i)$ and $ϕ_n({\mathbf x}_0^{n-1})=\prod\limits_{i=0}^{n-1}φ (x_i)$, respectively). The focus is upon ${\it rates}$ of the weighted entropy and information, regarded as parameters related to ${\mathbf{X}}$. We show that, in the context of ergodicity, a natural scale for an asymptotically additive/multiplicative WF is $\frac{1}{n^2}H^{ m w}_{ϕ_n}({\mathbf{X}}_0^{n-1})$ and $\frac{1}{n}\log\;H^{ m w}_{ϕ_n}({\mathbf{X}}_0^{n-1})$, respectively. This gives rise to ${\it primary}$ ${\it rates}$. The next-order terms can also be identified, leading to ${\it secondary}$ ${\it rates}$. We also consider emerging generalisations of the Shannon-McMillan-Breiman theorem.

연구 동기 및 목표

• 결과의 중요성을 반영하는 값에 의존하는 가중 함수(WF)를 통합하여 엔트로피 비율 개념을 가중 엔트로피로 확장하는 것.
• 특히 에르고딕, 마르코프, 그리고 정규 과정에 중점을 두어 무작위 과정에 대한 가중 정보 및 엔트로피 비율을 정의하고 분석하는 것.
• 적절한 점근적 비율을 특정하는 것 — 추가적 WF의 경우 $\frac{1}{n^2}$, 곱셈적 WF의 경우 $\frac{1}{n}\log$ — 이를 통해 주요 및 보조 비율 매개변수를 도출하는 것.
• 정상 과정의 맥락에서 가중 엔트로피에 대한 샤논–맥밀런–브라이언 정리의 일반화를 수행하는 것.
• 제곱형 및 지수형 가중 함수 하에서 정규 과정의 가중 엔트로피 비율에 대한 명시적 표현을 도출하는 것.

제안 방법

• 가중 정보를 $I^{\mathrm{w}}_{\phi}(x) = -\phi(x)\log f(x)$로 정의하며, 여기서 $\phi(x)$는 결과 값의 중요성을 반영하는 가중 함수이고, 가중 엔트로피는 $H^{\mathrm{w}}_{\phi}(X) = \mathbb{E}[I^{\mathrm{w}}_{\phi}(X)]$로 정의한다.
• 벡터 값 과정 $\mathbf{X}_{0}^{n-1}$로 정의를 확장하며, 공동 가중 엔트로피 $H^{\mathrm{w}}_{\phi_n}(f_n) = \mathbb{E}[I^{\mathrm{w}}_{\phi_n}(\mathbf{X}_{0}^{n-1})]$를 정의한다. 여기서 $\phi_n(\mathbf{x}_{0}^{n-1})$는 가중 함수이다.
• 두 가지 유형의 가중 함수를 고려한다: 추가적 ($\phi_n = \sum_{i=0}^{n-1} \varphi(x_i)$) 및 곱셈적 ($\phi_n = \prod_{i=0}^{n-1} \varphi(x_i)$), 곱셈적 경우에서는 $\varphi \geq 0$를 가정한다.
• 점근적 비율을 설정한다: 추가적 WF의 경우 $\frac{1}{n^2}H^{\mathrm{w}}_{\phi_n}$, 곱셈적 WF의 경우 $\frac{1}{n}\log H^{\mathrm{w}}_{\phi_n}$를 정의하여 주요 비율을 도출한다.
• 엔트로피 비율 전개의 다음 순서 점근적 분석을 통해 보조 비율 항을 도출한다.
• 정규 과정에 이 틀을 적용하여, 모멘트 생성 함수와 행렬 대수를 사용하여 $H^{\mathrm{w}}_{\phi_n}(f_n)$에 대한 명시적 공식을 유도한다.

실험 결과

연구 질문

• RQ1 정상 과정에서 추가적 및 곱셈적 가중 함수를 사용할 때, 가중 엔트로피 비율에 대한 적절한 점근적 비율은 무엇인가?
• RQ2 에르고딕 및 마르코프 과정에서 가중 엔트로피의 점근적 전개에서 주요 및 보조 비율은 어떻게 도출되는가?
• RQ3 추가적 및 곱셈적 WF 하에서 가중 엔트로피에 대해 샤논–맥밀런–브라이언 정리를 일반화할 수 있는가?
• RQ4 제곱형 및 지수형 가중 함수 하에서 정규 과정의 가중 엔트로피 비율에 대한 명시적 표현은 무엇인가?
• RQ5 가중 함수가 비상수일 경우, 가중 엔트로피 비율은 표준 엔트로피 비율과 어떻게 관련이 있는가?

주요 결과

• 추가적 가중 함수 $\phi_n = \sum_{i=0}^{n-1} \varphi(x_i)$의 경우, 주요 가중 엔트로피 비율은 $\lim_{n \to \infty} \frac{1}{n^2} H^{\mathrm{w}}_{\phi_n}(\mathbf{X}_{0}^{n-1})$로 정의되며, 보조 비율은 다음 순서 항에서 유도된다.
• 곱셈적 가중 함수 $\phi_n = \prod_{i=0}^{n-1} \varphi(x_i)$의 경우, 주요 비율은 $\lim_{n \to \infty} \frac{1}{n} \log H^{\mathrm{w}}_{\phi_n}(\mathbf{X}_{0}^{n-1})$이며, 이에 해당하는 보조 비율 항이 존재한다.
• 정규 과정에서 $\phi_n(\mathbf{x}_{0,n-1}) = \exp(\mathbf{x}^T_{0,n-1} \mathbf{C}_n^{-1} \mathbf{t}_{0,n-1})$일 경우, 가중 엔트로피 비율은 $H^{\mathrm{w}}_{\phi_n}(f_n) = H(f_n) \exp(\frac{1}{2} \mathbf{t}^T_{0,n-1} \mathbf{C}_n^{-1} \mathbf{t}_{0,n-1})$를 만족하며, 가중 엔트로피와 표준 엔트로피 간의 관계를 설정한다.
• 정규 과정에서 $\phi_n(\mathbf{x}_{0,n-1}) = \exp(\frac{1}{2} \mathbf{x}^T_{0,n-1} \mathbf{A}_n \mathbf{x}_{0,n-1})$일 경우, 가중 엔트로피는 $H^{\mathrm{w}}_{\phi_n}(f_n) = \frac{H(f_n) + \mathrm{tr}[(\mathbf{I}_n - \mathbf{A}_n \mathbf{C}_n)^{-1}] \log e}{2 [\det(\mathbf{I}_n - \mathbf{C}_n \mathbf{A}_n)]^{1/2}}$로 주어지며, 명시적 공식을 제공한다.
• 비율 $\frac{H(f_n)}{a(n)} \to \alpha$이 성립하는 것은 $\frac{H^{\mathrm{w}}_{\phi_n}(f_n)}{a(n)} \exp(-\frac{1}{2} \mathbf{t}^T_{0,n-1} \mathbf{C}_n^{-1} \mathbf{t}_{0,n-1}) \to \alpha$이 성립하는 것과 동치이며, 특정 WF 하에서 표준 엔트로피 비율과 가중 엔트로피 비율 수렴 간의 등가성을 보여준다.
• $\mathbf{t} = \mathbf{0}$일 경우, 가중 엔트로피 비율 $H^{\mathrm{w}}_{\phi_n}(f_n)$는 $H(f_n)$에 비례하며, $\mathbf{I}_n - \mathbf{C}_n \mathbf{A}_n$의 트레이스 및 행렬식 항을 포함하는 수정 항이 존재한다. 이는 정밀한 점근적 분석을 가능하게 한다.