[論文レビュー] Quantization of Binary-Input Discrete Memoryless Channels, with Applications to LDPC Decoding

Brian M. Kurkoski, Hideki Yagi|arXiv (Cornell University)|Jul 28, 2011

Error Correcting Code Techniques参考文献 20被引用数 14

ひとこと要約

本稿では、2次時間計算量の動的計画法を用いて相互情報量を最大化することで、二値入力離散的記憶なし通信路に対する最適量子化手法を提案する。LDPC復号に応用することで、各メッセージに4ビットのみを用いることで、信念伝搬と同等のノイズ閾値を達成する体系的なメッセージ伝達マップを設計する。これは、ヒューリスティックな量子化復号手法を上回る性能を発揮する。

ABSTRACT

Abstract—The quantization of the output of a binary-input discrete memoryless channel to a smaller number of levels is considered. The optimal quantizer, in the sense of maximizing mutual information between the channel input and the quantizer output, may be found by an algorithm with complexity which is quadratic in the number of channel outputs. This is a concave optimization problem, and results from the field of concave optimization are invoked. The quantizer design algorithm is a realization of a dynamic program. Then, this algorithm is applied to the design of message-passing decoders for low-density parity-check codes, over arbitrary discrete memoryless channels. A general, systematic method to find message-passing decoding maps which maximize mutual information at each iteration is given. This may contrasted with existing quantized message-passing algorithms which are heuristically derived. The method finds message-passing decoding maps similar to those given by Richardson and Urbanke’s Algorithm E. Using four bits per message, noise thresholds similar to belief-propagation decoding are obtained. Index Terms—discrete memoryless channel, channel quantiza-tion, mutual information maximization, LDPC decoding I.

研究の動機と目的

• 入力と量子化出力の間の相互情報量を最大化する、二値入力離散的記憶なし通信路の最適量子化器の開発を目的とする。
• 量子化LDPC復号器におけるメッセージ伝達復号マップの体系的設計手法の欠如に取り組む。
• 各復号イテレーションで相互情報量を最大化するメッセージ伝達マップを導出する一般的で根拠に基づいたフレームワークを提供すること。
• 最小限のメッセージ精度、具体的には各メッセージに4ビットを用いることで、完全精度の信念伝搬に近い性能を達成すること。

提案手法

• 量子化器は、凹型最適化問題を解く動的計画法により設計され、相互情報量最大化におけるグローバル最適性を保証する。
• アルゴリズムは、通信路出力レベル数に対して2次時間計算量で動作し、凹型最適化理論の結果を活用する。
• 本手法は、各イテレーションで相互情報量を最大化するように設計された量子化メッセージとしてのメッセージ伝達復号マップを定式化する。これは最適量子化器設計から導出される。
• 情報理論的原則から導出されることで、リチャードソンとアルバーティのアルゴリズムEにおける既存のヒューリスティックな量子化ルール（例：RichardsonとUrbankeのアルゴリズムE）を一般化・体系化する。
• 本手法は任意の離散的記憶なし通信路に適用可能であり、LDPC符号の量子化復号器の体系的設計を可能にする。
• 本手法により、最小限のメッセージ精度（具体的には各メッセージに4ビット）で、高い性能を維持するメッセージ伝達復号器の設計が可能になる。

実験結果

リサーチクエスチョン

• RQ1 二値入力離散的記憶なし通信路の出力を最適に量子化する方法は何か？　その目的は、入力と出力の間の相互情報量を最大化することである。
• RQ2 LDPC符号のメッセージ伝達復号マップを、各イテレーションで相互情報量を最大化するように体系的に導出する方法は何か？
• RQ3 情報理論的原則に基づいた体系的かつ根拠のあるアプローチは、ヒューリスティックな量子化ルールを上回る性能を発揮できるか？
• RQ4 どの程度のメッセージ精度（ビット数）があれば、完全精度の信念伝搬のノイズ閾値に近い性能を達成できるか？
• RQ5 本手法の量子化方法は、リチャードソンとアルバーティのアルゴリズムEと比較して、性能および設計の厳密性においてどのように異なるか？

主な発見

• 提案手法の量子化アルゴリズムは、通信路出力レベル数に対して2次時間計算量で、最適な相互情報量最大化を達成する。
• 本手法は、情報理論的原則に基づいて体系的に導出されたメッセージ伝達復号マップを生成する。これは、ヒューリスティック手法とは対照的である。
• 各メッセージに4ビットを用いることで、完全精度の信念伝搬復号とほぼ同一のノイズ閾値を達成する。
• 動的計画法の定式化により、局所最適解に陥りがちなヒューリスティック手法とは異なり、量子化器設計におけるグローバル最適性が保証される。
• 本手法は任意の離散的記憶なし通信路に一般化可能であり、量子化LDPC復号器の体系的設計を可能にする。
• 結果として、相互情報量最大化が、リチャードソンとアルバーティのアルゴリズムEにおけるものに非常に近い復号マップを導くことが示され、本手法の有効性が裏付けられる。