[論文レビュー] Typical Sequences for Polish Alphabets

Patrick Mitran|arXiv (Cornell University)|May 13, 2010

Computability, Logic, AI Algorithms参考文献 15被引用数 5

ひとこと要約

この論文は、ポリッシュアルファベット上の確率測度の弱*収束に基づく、典型系列の一般化された概念である弱*典型性を導入する。これは連続的・離散的・混合分布へと強い典型性を拡張し、量子化を伴わずに入力制約付きGel'fand-Pinskerチャネルの達成可能性を直接証明可能にするとともに、マークフ・補題やコスト一貫性といった重要な性質を保つ。

ABSTRACT

The notion of typical sequences plays a key role in the theory of information. Central to the idea of typicality is that a sequence $x_1, x_2, ..., x_n$ that is $P_X$-typical should, loosely speaking, have an empirical distribution that is in some sense close to the distribution $P_X$. The two most common notions of typicality are that of strong (letter) typicality and weak (entropy) typicality. While weak typicality allows one to apply many arguments that can be made with strongly typical arguments, some arguments for strong typicality cannot be generalized to weak typicality. In this paper, we consider an alternate definition of typicality, namely one based on the weak* topology and that is applicable to Polish alphabets (which includes $ eals^n$). This notion is a generalization of strong typicality in the sense that it degenerates to strong typicality in the finite alphabet case, and can also be applied to mixed and continuous distributions. Furthermore, it is strong enough to prove a Markov lemma, and thus can be used to directly prove a more general class of results than weak typicality. As an example of this technique, we directly prove achievability for Gel'fand-Pinsker channels with input constraints for a large class of alphabets and channels without first proving a finite alphabet result and then resorting to delicate quantization arguments. While this large class does not include Gaussian distributions with power constraints, it is shown to be straightforward to recover this case by considering a sequence of truncated Gaussian distributions.

研究の動機と目的

• 情報理論における連続的・混合的・一般ポリッシュアルファベットの取り扱いにおいて、弱典型性および強典型性の限界を解消すること。
• マークフ補題やコスト一貫性といった重要な性質を保ちながら、より広範な分布クラスに適用可能な統一的な典型性の概念を構築すること。
• 特に非有限アルファベット設定において、入力制約付きチャネルの達成可能性を証明する際の繊細な量子化の議論を排除すること。
• 有限アルファベットで強典型性に還元されるとともに、R^n 上の分布や混合型に適用可能な典型系列の一般枠組みを提供すること。
• 一般アルファベット、特に非ガウス型の場合を含め、入力制約付きGel'fand-Pinskerチャネルの達成可能性を弱*典型性を用いて直接証明すること。

提案手法

• 有界連続関数が誘導する位相に沿った弱*位相を用いて、確率測度上の弱*典型性を定義し、有効測度が真の分布に弱*収束することを保証する。
• すべての標準的連続的・混合分布を含む、ポリッシュ空間（例：R^n）にこの概念を適用し、有限アルファベットを超えた強典型性の一般化を実現する。
• 標本空間の有限分割の列 (Q_X^k, Q_Y^k) を用いて連合分布を近似し、メトリックエントロピーおよび発散の境界を用いて経験的偏差を制御する。
• 弱*典型性が結合典型性を含意し、チャネル一貫性性質を満たすことを確立し、これによりマークフ補題が成立することを保証する。
• 経験的測度の偏差を相対エントロピーに関連付けることで大偏差境界を導出し、弱*典型性のもとで結合典型性の確率が 2^{-nI(X;Y)} のオーダーで減少することを示す。
• 任意の ε > 0 に対して、δ(ε) が存在し、経験的測度が弱*位相で真の測度から ε 以内に収束することを保証する。

実験結果

リサーチクエスチョン

• RQ1 連続的・混合分布に一般化されつつ、情報理論的重要な性質を保つような典型性の概念を定義できるか？
• RQ2 弱*典型性はマークフ補題およびコスト一貫性を満たすか。これはネットワーク情報理論の証明において不可欠である。
• RQ3 有限アルファベット近似に依存せずに、一般ポリッシュアルファベットにおける入力制約付きGel'fand-Pinskerチャネルの達成可能性を直接証明できるか？
• RQ4 収束性および大偏差挙動の観点から、弱*典型性は弱典型性および強典型性とどのように比較できるか？
• RQ5 弱*位相を用いることで、連続入力および制約付きチャネルの容量定理の証明における量子化の議論を回避できるか？

主な発見

• 弱*典型性は、R^n や混合分布を含むポリッシュアルファベットに強典型性を一般化し、有限アルファベットの場合には強典型性に還元される。
• この概念はチャネル一貫性性質を満たし、マークフ補題が成立することが保証され、これは弱典型性では保証されない。
• コスト一貫性が保たれる：任意の有界可測コスト関数 g に対して、経験平均 (1/n)∑g(x_ℓ) は弱*典型性のもとで E_{P_X}[g(X)] に収束する。
• 任意の δ > 0 に対して、(X^n, y^n) が P_XY に対して結合的弱*典型性を満たす確率は漸近的に 2^{-n(D(P_XY||P_X × P_Y) + δ)} 以上である。
• 入力制約付きGel'fand-Pinskerチャネルの達成可能性は、非ガウス型を含む広範なアルファベットクラスについて、量子化を伴わず直接証明可能である。
• パワー制約付きガウス分布の場合は、切り詰めたガウス分布の列を考察することで回復され、このフレームワークが極限状況に対しても頑健であることが示された。