[論文レビュー] Optimal coding for the deletion channel with small deletion probability

Yashodhan Kanoria, Andrea Montanari|arXiv (Cornell University)|Apr 29, 2011

DNA and Biological Computing参考文献 8被引用数 5

ひとこと要約

この論文は、小さい削除確率 $d$ における2進削除チャネルの容量に対して、系統的な漸近展開を構築し、級数の最初の3項を計算した。i.i.d. ランをもつ定常2進ソースで、特定のラン長分布をとるものが、$O(d^{3-\epsilon})$ の誤差で容量を達成することを証明した。これは、$d=0$ における i.i.d. ベルヌーイ(1/2) 入力を摂動することで得られる、このチャネルにおける最初の最適符号化結果である。このアプローチにより、滑らかな容量の変化と摂動理論による最適入力分布の特定が可能になった。

ABSTRACT

The deletion channel is the simplest point-to-point communication channel that models lack of synchronization. Input bits are deleted independently with probability d, and when they are not deleted, they are not affected by the channel. Despite significant effort, little is known about the capacity of this channel, and even less about optimal coding schemes. In this paper we develop a new systematic approach to this problem, by demonstrating that capacity can be computed in a series expansion for small deletion probability. We compute three leading terms of this expansion, and find an input distribution that achieves capacity up to this order. This constitutes the first optimal coding result for the deletion channel. The key idea employed is the following: We understand perfectly the deletion channel with deletion probability d=0. It has capacity 1 and the optimal input distribution is i.i.d. Bernoulli(1/2). It is natural to expect that the channel with small deletion probabilities has a capacity that varies smoothly with d, and that the optimal input distribution is obtained by smoothly perturbing the i.i.d. Bernoulli(1/2) process. Our results show that this is indeed the case. We think that this general strategy can be useful in a number of capacity calculations.

研究の動機と目的

• 小さな削除確率 $d$ における2進削除チャネルの容量の級数展開を計算すること。
• 小さな $d$ に対して $O(d^{3-\epsilon})$ の誤差で容量を達成する入力分布を同定することにより、このチャネルにおける最適符号化の従来の制限を克服すること。
• 特定のパrameter値（ここでは $d=0$）で容量が正確に分かっているチャネルにおいて、容量の計算戦略を一般化すること。ここでは、最適入力分布を滑らかに摂動することで実現する。

提案手法

• $d=0$ における i.i.d. ベルヌーイ(1/2) 入力分布を摂動し、$d$ のべき級数として容量展開を導出する。ここでは、$d=0$ で容量が正確に 1 に等しい。
• 入力を定常ソースとしてモデル化し、i.i.d. ランを仮定する。ラン長は、$d$ の1次まで $p_L(l) = 2^{-l}(1 + d(l\ln l - c_2 l/2))$ に従うように設定し、$d=0$ の場合からの滑らかな変化を保証する。
• 再生過程理論とエントロピー解析を用いて、このようなソースのレートを計算し、削除下での相互情報量と関連付ける。
• 集中法および尾確率の境界を用いて誤差項を制御することで、$d$ の2次までの項まで一致する、厳密な上界と下界を用いて容量の上限と下限を評価する。
• 二進エントロピー関数 $h(p)$ および $\sum 2^{-l} l \ln l$ を含む対数項を用いて、展開における係数 $A_1$, $A_2$ および定数 $c_2, c_3, c_4$ を計算する。
• 数値的に $d=0.1$ で展開を検証し、真の容量と $0.002$ ビット以内で一致することを示し、マルコフ源やジグソーデコーディングによる従来の境界と比較した。

実験結果

リサーチクエスチョン

• RQ1 小さな $d$ に対して、2進削除チャネルの容量を $d$ のべき級数として展開でき、その係数を明示的に得られるか？
• RQ2 i.i.d. ベルヌーイ(1/2) やマルコフ源を超える、特定の入力分布が、小さな $d$ に対して $O(d^{3-\epsilon})$ の誤差で容量を達成できるか？
• RQ3 $d=0$ の近傍で最適入力分布は $d$ に対して滑らかに変化するか？ そして、これは i.i.d. ベルヌーイ(1/2) プロセスの摂動によって捉えられるか？
• RQ4 マルコフ源やジグソーデコーディングを用いることで、最適方式に比べてどの程度の主要な損失が生じるか？
• RQ5 既知の容量点における最適入力の摂動という一般戦略は、同期エラーを有する他のチャネルに対しても適用可能か？

主な発見

• 小さな $d$ に対して、容量は $C(d) = 1 + d\log d - A_1 d + A_2 d^2 + O(d^{3-\epsilon})$ の展開を満たす。ここで $A_1 \approx 1.15416377$ および $A_2 \approx 1.67814594$ である。
• i.i.d. ランをもち、ラン長分布が $p_L(l) = 2^{-l}(1 + d(l\ln l - c_2 l/2))$ に従う入力分布は、$c_2 \approx 1.78628364$ のとき、容量からの誤差が $O(d^{3-\epsilon})$ の範囲に収まる。
• 1次マルコフ源を用いる場合の損失は $\Omega(d^2)$ であり、これは、自明な i.i.d. ベルヌーイ(1/2) 入力と同程度の主要な損失を示しており、マルコフ源がこの次数で非最適であることを示している。
• 数値的に $d=0.1$ で、漸近展開が真の値と $0.002$ ビット以内で一致し、従来の下界を著しく上回っている。
• 本論文は、既知の容量点における最適入力の摂動に基づく容量計算の一般枠組みを確立した。これは、同期エラーを有する他のチャネルに対しても応用可能である可能性がある。
• 導出された展開から、$d=0$ の近傍で最適入力分布が $d$ に対して滑らかに変化することが示され、小さな削除は最適符号化方式に小さな変化を引き起こすという直観を裏付けた。