[論文レビュー] Non-existence of certain kind of finite-letter mutual information characterization for a class of time-invariant Markoff channels

Mukul Agarwal|arXiv (Cornell University)|Apr 16, 2018

DNA and Biological Computing参考文献 4被引用数 5

ひとこと要約

この論文は、時間不変マルコフチャネルのクラス—特に有限状態機械チャネル（FSMC）の族 $τ_{\lambda}$ として表されるもの—の有限文字容量特徴付け（FLC）が存在しないことを確立する。先行研究の決定不能性結果を用い、適切なFLCが存在する場合に、加法的定数内での容量近似が計算可能であることを示すことで、$τ_{\lambda}$ の容量を特徴付けるようなFLCは存在しないことが示され、多項式制約を伴う有限最適化問題による容量表現には根本的な制限があることを示唆する。

ABSTRACT

We provide a rigorous definition of a certain kind of characterization for capacity regions of a family of Markoff networks which is based on optimization problems resulting out of calculating conditional mutual information from a finite number of random variables and by constraining these random variables in a certain way. This definition is partly motivated by the definition of single-letter characterizations in information theory. For a point-to-point Markoff channel, we prove that approximating the solution to these characterizations within an additive constant is a computable problem. Based on previous undecidability results concerning capacities of certain class of finite state machine channels (FSMCs), it will follow that there exists an example of family of FSMCs for which given such a characterization, this characterization cannot represent the capacity of this family of FSMCs.

研究の動機と目的

• マルコフネットワークの容量領域に対する有限文字特徴付け（FLC）のクラスを、条件付き相互情報量と多項式制約に基づいて厳密に定義すること。
• 適切なFLCが存在する場合に、容量を加法的定数内に近似することは計算可能であることを確立すること。
• $\mathscr{S}_{\lambda}$ と呼ばれる特定のFSMCの族に対して、容量決定における本質的決定不能性のため、適切なFLCが存在しないことを示すこと。
• 無記憶および分解不能マルコフチャネルにおけるFLCの存在に対する広範な意味を検討すること。

提案手法

• FLCを、有限確率変数上の相互情報量表現（表現）と、確率分布上の多項式不等式（制約）のペアとして定義する。
• 適切なFLCを、クラス $\mathbb{D}$ に属する任意のチャネルに対して、チャネルパラメータを代入したときに、実行可能領域の閉包が容量領域に一致する最適化問題を生成するものとして形式化する。
• 実閉体の一次論理の決定可能性を用いて、FLCに関連する実行可能性および最適化問題が計算可能であることを証明する。
• 先行の決定不能性結果（Elkoussら、2018年）を活用し、$τ_{\lambda}$ に対して容量が $\leq \lambda/2$ か $\geq \lambda$ かを判定することは決定不能であることを示す。
• 矛盾を導出する：適切なFLCが存在すれば、容量近似は計算可能であるが、決定不能性の結果からそれは不可能である。よって、このようなFLCは存在しないことが証明される。
• 部分的状態情報設定における容量近似の非計算可能性についての可能性のある証明を提示し、確率的有限オートマトンにおける決定不能性に依拠する。

実験結果

リサーチクエスチョン

• RQ1 有限状態機械チャネル $\mathscr{S}_{\lambda}$ の族に対して、容量が閾値内での決定が決定不能である場合、有限文字特徴付け（FLC）が存在しうるか？
• RQ2 チャネルクラスに対して適切なFLCが存在する場合、マルコフチャネルの容量を加法的定数内に近似する問題は計算可能か？
• RQ3 $\mathscr{S}_{\lambda}$ における容量決定の決定不能性は、このクラスに対して適切なFLCが存在しないことを示唆するか？
• RQ4 FLCに基づく容量近似の計算可能性を、特定のチャネル族におけるFLCの非存在を除外する基準として用いることができるか？
• RQ5 無記憶または分解不能チャネルなどのより広範なマルコフチャネルクラスでは、適切なFLCが存在する可能性があるのか、それともその非存在も示唆されるのか？

主な発見

• 適切な有限文字特徴付け（FLC）がマルコフチャネルのクラスに存在するならば、任意の加法的 $\epsilon > 0$ 内でチャネル容量を近似する問題は計算可能である。
• $\mathscr{S}_{\lambda}$ の有限状態機械チャネルの族に対して、容量が閾値 $\lambda/2$ と $\lambda$ のどちらかに属するかを決定することは決定不能であり、どのアルゴリズムでもそのどちらのケースかを特定できない。
• 加法的 $\epsilon$ 内での容量近似が適切なFLCが存在する場合に計算可能であるのに対し、$\mathscr{S}_{\lambda}$ ではそれが決定不能であるため、この族に対しては適切なFLCは存在しない。
• この証明は、実閉体の一次論理の決定可能性を用いて、FLCに基づく最適化問題の計算可能性を確立する。
• $\mathscr{S}_{\lambda}$ に対するFLCの非存在は、有限確率変数上の多項式制約を伴う有限最適化問題による容量表現に根本的な制限があることを示唆する。
• 本論文では、分解不能または無記憶マルコフチャネルにおいても適切なFLCが一般に存在しない可能性を示唆しているが、これは未解決のままである。