[論文レビュー] Analytical Lower Bounds on the Capacity of Insertion and Deletion Channels

Mojtaba Rahmati, Tolga M. Duman|arXiv (Cornell University)|Jan 6, 2011

DNA and Biological Computing参考文献 13被引用数 10

ひとこと要約

本稿では、独立同一分布の入力と相互情報量の計算を用いて、二値挿入・削除チャネルの容量に対する解析的下界を導出する。本稿は、削除-AWGNチャネルに対する最初の解析的下界を提示し、削除-置換チャネルの既存の下界を改善し、低挿入確率におけるガラージャーの挿入モデルの結果を向上させる。

ABSTRACT

We develop several analytical lower bounds on the capacity of binary insertion and deletion channels by considering independent uniformly distributed (i.u.d.) inputs and computing lower bounds on the mutual information between the input and the output sequences. For the deletion channel, we consider two different models: i.i.d. deletion-substitution channel and i.i.d. deletion channel with additive white Gaussian noise (AWGN). These two models are considered to incorporate effects of the channel noise along with the synchronization errors. For the insertion channel case we consider the Gallager’s model in which the transmitted bits are replaced with two random bits and uniform over the four possibilities independently of any other insertion events. The general approach taken is similar in all cases, however the specific computations differ. Furthermore, the approach yields a useful lower bound on the capacity for a wide range of deletion probabilities for the deletion channels, while it provides a beneficial bound only for very low insertion probabilities for the insertion model adopted. We emphasize the importance of these results by noting that 1) our results are the first analytical bounds on the capacity of deletion-AWGN channels, 2) the results developed are the best available analytical lower bounds on the deletion/substitution case, 3) for Gallager insertion channel model, the new lower bound improves the existing results for small insertion probabilities. Index Terms Insertion/deletion channels, synchronization, channel capacity, achievable rates.

研究の動機と目的

• 加法的ホワイトガウスノイズ（AWGN）で汚損する削除チャネルの解析的容量下界の欠如に対処する。
• 削除および置換チャネルの既存の解析的下界を改善する。
• 低挿入確率におけるガラージャーの挿入チャネルモデルのより緊密な解析的下界を提供する。
• 挿入および削除チャネルに適用可能な統一的な解析的フレームワークを確立する。
• 理論的および実用的な通信システム設計を支援する、計算可能で解析的に取り扱いやすい下界を提供する。

提案手法

• 独立同一分布（i.i.d.）の入力を用いて、相互情報量をチャネル容量の下界として計算する。
• 情報理論的技術を用いて、挿入および削除チャネルにおける同期エラーをモデル化する。
• 2つの削除チャネルモデルを分析する：i.i.d.削除-置換およびi.i.d.削除にAWGNを加えたモデル。
• ガラージャーの挿入モデルを採用し、各ビットが他の挿入とは独立に2つのi.i.d.ランダムビットに置き換えられる。
• 各チャネルモデル下での入力および出力系列間の相互情報量の解析的表現を導出する。
• 対称性および確率的解析を活用して、相互情報量の表現を単純化および上限化する。

実験結果

リサーチクエスチョン

• RQ1 加法的ホワイトガウスノイズ（AWGN）で汚損する二値削除チャネルの容量に対する解析的下界は何か？
• RQ2 既存の削除-置換チャネルの解析的下界と、本稿で提示された下界はどのように比較されるか？
• RQ3 低挿入確率におけるガラージャーの挿入チャネルモデルに対して、より緊密な解析的下界を導出可能か？
• RQ4 AWGNを組み込むことで、削除チャネルの容量下界にどのような影響が生じるか？
• RQ5 入力および出力系列間の相互情報量は、これらのモデルにおけるチャネル容量の信頼できる下界としてどのように機能するか？

主な発見

• 本稿は、加法的ホワイトガウスノイズ（AWGN）で汚損する削除チャネルの容量に対する最初の解析的下界を提示する。
• 削除-置換チャネルにおいて、提案された下界は既存の解析的結果を改善しており、特に中程度の削除確率において顕著である。
• ガラージャーの挿入チャネルモデルに対する導出された下界は、小さな挿入確率において以前の結果よりも緊密である。
• 本手法は、広範な削除確率範囲に適用可能な計算可能で解析的に取り扱いやすい下界をもたらす。
• 相互情報量に基づくアプローチは、同期エラーを持つチャネルにおける容量の上限を求める一貫性があり、厳密なフレームワークを提供する。
• 結果は、ノイズと同期エラーを併せ持つ複雑なモデルでさえ、解析的容量下界が実現可能であることを示している。