[論文レビュー] On Extrinsic Information of Good Codes Operating Over Discrete Memoryless Channels

Michael Peleg, Amichai Sanderovich+1 more|ArXiv.org|Apr 7, 2005

Error Correcting Code Techniques参考文献 10被引用数 6

ひとこと要約

本稿では、離散的メモリレスチャネル（DMC）における良い（容量を達成する）符号について、符号レートがチャネル容量を超えると、符号ビットに関する外部情報がゼロとなり、それ以外の場合は正の定数となることを示している。この結果は、容量を超えるレートで動作する符号が、容量を超えると非符号化伝送と同様に振る舞うことを示唆しており、特にターボ均衡化や直列連結符号化などの反復受信機アーキテクチャでは、符号化率が容量を超えるレートからデコードを開始する必要があるため、従来の容量を達成する符号は効果を失うことを意味する。

ABSTRACT

We show that the Extrinsic Information about the coded bits of any good (capacity achieving) code operating over a wide class of discrete memoryless channels (DMC) is zero when channel capacity is below the code rate and positive constant otherwise, that is, the Extrinsic Information Transfer (EXIT) chart is a step function of channel quality, for any capacity achieving code. It follows that, for a common class of iterative receivers where the error correcting decoder must operate at first iteration at rate above capacity (such as in turbo equalization, turbo channel estimation, parallel and serial concatenated coding and the like), classical good codes which achieve capacity over the DMC are not effective and should be replaced by different new ones. Another meaning of the results is that a good code operating at rate above channel capacity falls apart into its individual transmitted symbols in the sense that all the information about a coded transmitted symbol is contained in the corresponding received symbol and no information about it can be inferred from the other received symbols. The binary input additive white Gaussian noise channel is treated in part 1 of this report. Part 2 extends the results to the symmetric binary channel and to the binary erasure channel and provides an heuristic extension to wider class of channel models.

研究の動機と目的

• 離散的メモリレスチャネル（DMC）上で動作する良い符号における外部情報の挙動を調査すること。
• 容量を達成する符号が、容量を超えるレートでデコードを必要とする反復受信機アーキテクチャで効果的に機能できるかどうかを特定すること。
• ターボ均衡化やターボチャネル推定などのシステムにおける、従来の良い符号の限界を理論的に確立すること。
• バイナリ入力AWGNチャネルからの知見を、バイナリ対称チャネルや消失チャネルを含むより広いクラスのDMCに拡張すること。

提案手法

• 情報理論的原則を用いて、容量を達成する符号における外部情報の漸近的挙動を分析する。
• 外部情報伝達（EXIT）チャートの概念を適用し、符号ビットとその外部推定値との間の相互情報量の変化を特徴付ける。
• DMCの対称性とメモリレス性を活用し、異なる符号レートにおける外部情報の解析的表現を導出する。
• ヒューリスティックな議論を用いて、バイナリ入力加法性白色ガウスノイズ（BI-AWGN）チャネルから得た結果を、対称的バイナリ入力チャネルおよびバイナリ消失チャネル（BEC）に拡張する。
• 符号レートが容量を超えると、符号シンボルとその外部推定値との間の相互情報量がゼロに収束することを示し、これによりデコードゲインが得られないことを示す。
• EXITチャートに段階関数モデルを用い、外部情報が容量の閾値でゼロから正の定数へと急激に遷移することを示す。

実験結果

リサーチクエスチョン

• RQ1 DMC上で容量を超えるレートで動作する良い符号において、外部情報はどのように振る舞うか？
• RQ2 容量を達成する符号について、チャネル品質が変化するに従い、外部情報はどのように変化するか？
• RQ3 従来の良い符号は、容量を超えるレートでデコードを必要とする反復受信機で効果的に使用可能か？
• RQ4 容量を超えると外部情報がゼロとなるという構造的意味は何か—これは符号が個々のシンボルに崩壊することを意味するか？
• RQ5 BI-AWGNチャネルからの結果を、バイナリ対称チャネルや消失チャネルなどの他のDMCにどの程度一般化できるか？

主な発見

• 任意のDMC上で動作する良い符号について、符号レートがチャネル容量を超えると、符号ビットに関する外部情報はゼロとなる。
• 符号レートが容量未満の場合は、外部情報は正の定数となり、効果的なデコードゲインがあることを示している。
• このような符号のEXITチャートは段階関数であり、容量の閾値で急激な遷移を示す。
• 反復受信機（たとえばターボ均衡化や直列連結符号化）では、符号レートが容量を超える必要があるため、従来の容量を達成する符号は効果を失う。
• 容量を超えると、良い符号は効果的に個々の送信シンボルに分離され、他の受信シンボルから符号シンボルに関する情報は得られない。
• 結果はバイナリ入力AWGNチャネルにおいて解析的に確認され、対称的バイナリ入力チャネルおよびバイナリ消失チャネルへはヒューリスティックに拡張されている。