[論文レビュー] On the Capacity of Constrained Systems

Georg Böcherer, Valdemar C. da Rocha+1 more|ArXiv.org|Nov 5, 2009

Computability, Logic, AI Algorithms参考文献 6被引用数 3

ひとこと要約

本稿では、生成関数を用いて組合せ的容量を収束Abszisseとして定義することで、正則言語を超えた制約付きシステムの容量を一般化する。収束Abszisseが任意の入力プロセスの最大エントロピー率の上界であることを証明し、最大エントロピー率と組合せ的容量の等価性を示す新しい手法を提示する。特に、(j,k)ランレングス制約に対しては、閉形式の容量式が得られる。

ABSTRACT

In the first chapter of Shannon's "A Mathematical Theory of Communication," it is shown that the maximum entropy rate of an input process of a constrained system is limited by the combinatorial capacity of the system. Shannon considers systems where the constraints define regular languages and uses results from matrix theory in his derivations. In this work, the regularity constraint is dropped. Using generating functions, it is shown that the maximum entropy rate of an input process is upper-bounded by the combinatorial capacity in general. The presented results also allow for a new approach to systems with regular constraints. As an example, the results are applied to binary sequences that fulfill the (j,k) run-length constraint and by using the proposed framework, a simple formula for the combinatorial capacity is given and a maxentropic input process is defined.

研究の動機と目的

• 正則言語や「密度が低すぎない」重み集合の仮定を外して、制約付きシステム容量の理論を拡張すること。
• 従来の仮定の下で古典的定義に還元される、生成関数を用いた一般化された組合せ的容量の定義。
• 最大エントロピー率と組合せ的容量の等価性を証明する新しい手法を構築すること。具体的には、最大エントロピー入力プロセスを構成することで実現。
• (j,k)ランレングス制約の組合せ的容量に対して、単純で閉形式の式を提供すること。

提案手法

• 記号の重みを正の実数として扱い、パラメータsを含む指数型生成関数を用いて制約付きシステムを表現する。
• 生成関数の収束Abszisseとして組合せ的容量を定義し、従来の定義を一般化する。
• 複素解析の既知の結果を適用し、収束Abszisseが制約付き列の成長率に等しいことを示す。
• 有限個の重み付きブロックから成る記号のi.i.d.プロセスを構成し、各ブロックyに対して確率をe^(-w(y)R)に比例して割り当てる。ここでRは組合せ的容量である。
• エントロピー率の式（limsup H(Y₁,…,Yₗ)/E[w(cat(Y₁,…,Yₗ))]）を用い、適切に正規化された分布ではこれがRに等しいことを示す。
• 定理2によるエントロピー率の上界を活用し、容量Rに達するプロセスが最大エントロピーであることを証明する。

実験結果

リサーチクエスチョン

• RQ1 正則性や「密度が低すぎない」重み集合の仮定なしに、制約付きシステムの組合せ的容量を定義・計算できるか？
• RQ2 任意の入力プロセスの最大エントロピー率は、システムの生成関数の収束Abszisseによって常に上界で抑えられるか？
• RQ3 エントロピー率が組合せ的容量に等しいシステムにおいて、最大エントロピー入力プロセスを明示的に構成できるか？
• RQ4 新しい枠組みにより、特に正則制約（例：(j,k)）において、容量の導出および入力プロセス設計がより単純化できるか？
• RQ5 生成関数アプローチは、容量解析における行列理論的手法を置き換えることができるか？

主な発見

• 重み集合が稠密であったり、制約が非正則であったりしても、制約付きシステムの組合せ的容量は、その生成関数の収束Abszisseに等しい。
• 任意の入力プロセスの最大エントロピー率は、生成関数の収束Abszisse（一般化された組合せ的容量）によって常に上界で抑えられる。
• (j,k)ランレングス制約に対しては、新規の枠組みを用いて単純な閉形式の組合せ的容量の式が導出された。
• Rを容量として、確率e^(-w(y)R)に比例するi.i.d.記号を割り当てることで、(j,k)制約に対して最大エントロピー入力プロセスを明示的に構成した。
• この構成されたプロセスのエントロピー率は組合せ的容量に等しくなり、それが最大エントロピーであることを証明した。
• 行列理論的導出を回避する新しい一般化された手法を提供し、最大エントロピー率と組合せ的容量の等価性を構成によって証明した。