[论文解读] Typical Sequences for Polish Alphabets

Patrick Mitran|arXiv (Cornell University)|May 13, 2010

Computability, Logic, AI Algorithms参考文献 15被引用 5

一句话总结

本文引入了弱*典型性——一种基于波兰字母表上概率测度弱*收敛的典型序列广义概念。它将强典型性扩展至连续、离散及混合分布，实现了在无需量化的情况下对带有输入约束的Gel'fand-Pinsker信道直接证明可实现性，同时保持了诸如马尔可夫引理和代价一致性等关键性质。

ABSTRACT

The notion of typical sequences plays a key role in the theory of information. Central to the idea of typicality is that a sequence $x_1, x_2, ..., x_n$ that is $P_X$-typical should, loosely speaking, have an empirical distribution that is in some sense close to the distribution $P_X$. The two most common notions of typicality are that of strong (letter) typicality and weak (entropy) typicality. While weak typicality allows one to apply many arguments that can be made with strongly typical arguments, some arguments for strong typicality cannot be generalized to weak typicality. In this paper, we consider an alternate definition of typicality, namely one based on the weak* topology and that is applicable to Polish alphabets (which includes $ eals^n$). This notion is a generalization of strong typicality in the sense that it degenerates to strong typicality in the finite alphabet case, and can also be applied to mixed and continuous distributions. Furthermore, it is strong enough to prove a Markov lemma, and thus can be used to directly prove a more general class of results than weak typicality. As an example of this technique, we directly prove achievability for Gel'fand-Pinsker channels with input constraints for a large class of alphabets and channels without first proving a finite alphabet result and then resorting to delicate quantization arguments. While this large class does not include Gaussian distributions with power constraints, it is shown to be straightforward to recover this case by considering a sequence of truncated Gaussian distributions.

研究动机与目标

• 解决弱典型性和强典型性在处理连续、混合及一般波兰字母表时的局限性。
• 发展一种统一的典型性概念，使其在更广泛的分布类中保持关键性质，如马尔可夫引理和代价一致性。
• 消除在证明带有输入约束的信道可实现性时对精细量化论证的依赖，特别是在非有限字母表设置下。
• 提供一个典型序列的一般框架，该框架在有限字母表下退化为强典型性，并适用于R^n上的分布及混合类型。
• 通过弱*典型性，为一般字母表（包括非高斯情形）上的带有输入约束的Gel'fand-Pinsker信道提供可实现性的直接证明。

提出的方法

• 通过概率测度在弱*拓扑下的收敛性定义弱*典型性，确保经验测度在有界连续函数诱导的拓扑下收敛于真实分布。
• 将该概念应用于波兰空间（例如R^n），其包含所有标准连续和混合分布，将强典型性推广至有限字母表之外。
• 使用样本空间的一系列有限划分(Q_X^k, Q_Y^k)来近似联合分布，并通过度量熵和散度界控制经验偏差。
• 证明弱*典型性蕴含联合典型性，并满足信道一致性性质，从而保证马尔可夫引理成立。
• 通过将经验测度偏差与相对熵关联，推导出大偏差界，表明在弱*典型性下，联合典型性的概率以2^{-nI(X;Y)}的速率衰减。
• 证明对于任意ε > 0，存在δ(ε)，使得经验测度在弱*拓扑下与真实测度的距离小于ε，从而确保分布收敛。

实验结果

研究问题

• RQ1 能否定义一种典型性概念，使其将强典型性推广至连续和混合分布，同时保持关键信息论性质？
• RQ2 弱*典型性是否支持马尔可夫引理和代价一致性？这两者对网络信息论证明至关重要。
• RQ3 能否在不依赖有限字母表近似的情况下，对一般波兰字母表上的带有输入约束的Gel'fand-Pinsker信道实现直接可实现性证明？
• RQ4 在收敛性和大偏差行为方面，弱*典型性与弱典型性及强典型性相比如何？
• RQ5 弱*拓扑能否用于避免在证明具有连续输入和约束的信道容量定理时使用量化论证？

主要发现

• 弱*典型性将强典型性推广至波兰字母表，包括R^n和混合分布，在有限字母表情况下退化为强典型性。
• 该概念满足信道一致性性质，从而保证马尔可夫引理成立，而这是弱典型性下无法保证的。
• 代价一致性得以保持：对于任意有界可测代价函数g，经验平均(1/n)∑g(x_ℓ)在弱*典型性下收敛于E_{P_X}[g(X)]。
• 序列(X^n, y^n)关于P_XY为联合弱*典型的概率，渐近下至少为2^{-n(D(P_XY||P_X × P_Y) + δ)}，其中δ > 0任意小。
• 对包括非高斯情形在内的大类字母表，无需量化即可直接证明带有输入约束的Gel'fand-Pinsker信道的可实现性。
• 通过考虑截断高斯分布序列，可恢复功率约束下的高斯情形，表明该框架对极限情况具有鲁棒性。