[論文レビュー] Capacity of General Discrete Noiseless Channels

Georg Böcherer, Valdemar C. da Rocha+1 more|arXiv (Cornell University)|Feb 18, 2008

Cellular Automata and Applications参考文献 4被引用数 6

ひとこと要約

本稿は、非整数記号重みをもつ一般の離散無線雑音なしチャネル（DNC）の容量が、生成関数の収束半径、右端の実数特異点、または最小の正の極によって決定されることを確立している。本稿はプリングシュタインの定理と指数的成長公式を非整数重みへ一般化し、有限状態機械の表現に依存しない一元的な解析的枠組みを提供する。

ABSTRACT

This paper concerns the capacity of the discrete noiseless channel introduced by Shannon. A sufficient condition is given for the capacity to be well-defined. For a general discrete noiseless channel allowing non-integer valued symbol weights, it is shown that the capacity--if well-defined--can be determined from the radius of convergence of its generating function, from the smallest positive pole of its generating function, or from the rightmost real singularity of its complex generating function. A generalisation is given for Pringsheim's Theorem and for the Exponential Growth Formula to generating functions of combinatorial structures with non-integer valued symbol weights.

研究の動機と目的

• 非整数記号重みをもつ一般の離散無線雑音なしチャネルの容量を定義し、その適切な定義（well-posedness）を保証すること。
• プリングシュタインの定理や指数的成長公式といった古典的結果を、非整数重みをもつ生成関数へ一般化すること。
• 有限状態機械モデルに依存しない、生成関数の特異点に基づく容量の解析的計算手法を提供すること。
• 容量が有効な文字列の数の指数的成長率に等しいことを示し、重みあたりの文字列数の対数的成長によって測定されることを示すこと。

提案手法

• 本稿は、記号の重みが連結において加法的である関数を満たす有効な文字列の集合として、離散無線雑音なしチャネル（DNC）を定義する。
• 生成関数 $ G_{\mathcal{A}}(y) = \sum_{s \in A} y^{w(s)} $ を導入し、係数 $ N[w_k] $ は重み $ w_k $ をもつ文字列の数を数える。
• 容量は $ C = \limsup_{k \to \infty} \frac{\ln N[w_k]}{w_k} $ として定義され、この極限が適切に定義されるための条件が確立されている。
• 主な手法的革新は、複素生成関数 $ F_{\mathcal{A}}(e^{-s}) $ の収束半径または右端の実数特異点と容量を結びつけることにある。
• 有理型生成関数の場合、容量は $ -\ln P $ に等しいことが示され、ここで $ P $ は $ G_{\mathcal{A}}(y) $ の最小の正の極である。
• アプローチは複素解析と漸近的数え上げを用い、整数重みの場合の結果を非整数重みへ一般化している。

実験結果

リサーチクエスチョン

• RQ1 非整数記号重みをもつ離散無線雑音なしチャネルの容量が、どのような条件下で適切に定義されるか？
• RQ2 有限状態機械の表現に依存せずに、一般のDNCの容量をどのように計算できるか？
• RQ3 プリングシュタインの定理と指数的成長公式を、非整数記号重みをもつ生成関数へ一般化できるか？
• RQ4 生成関数の収束半径とチャネル容量の間にはどのような関係があるか？
• RQ5 有理関数の場合、生成関数の最小の正の極が容量を決定するのに十分か？

主な発見

• 適切に定義された容量をもつDNCの容量は、定義3で形式化されたように、重みあたりの有効な文字列数の指数的成長率に等しい。
• 容量は生成関数 $ G_{\mathcal{A}}(y) $ の収束半径によって決定され、同値に言えば、複素生成関数 $ F_{\mathcal{A}}(e^{-s}) $ の右端の実数特異点によって決定される。
• 有理型生成関数の場合、容量は $ C = -\ln P $ で与えられ、ここで $ P $ は $ G_{\mathcal{A}}(y) $ の最小の正の極である。
• 「111」を含まない2進文字列の例では、生成関数から最小の正の極 $ P = 0.54369 $ が得られ、これにより容量 $ C = -\ln P = 0.60938 $ nats/重み単位が得られる。
• 本手法は、プリングシュタインの定理や指数的成長公式といった古典的結果を非整数記号重みへ一般化し、その適用範囲を広げている。
• 生成関数アプローチは、容量の算出に加え、重み $ w_k $ をもつ有効な文字列の正確な数 $ N[w_k] $ をも提供し、有限状態モデルに比べてより多くの情報を得られる。