[論文レビュー] Single-bit Quantization Capacity of Binary-input Continuous-output Channels

Thuan Nguyen, Thinh Nguyen|arXiv (Cornell University)|Jan 7, 2020

Error Correcting Code Techniques参考文献 20被引用数 4

ひとこと要約

本稿では、二値入力連続出力チャネルにおける入力分布と1ビット量子化器のしきい値を同時に最適化する線形時間アルゴリズムを提案する。この手法により、相互情報量 I(X;Z) を最大化する。最適量子化器と入力分布の解析的性質を活用することで、探索空間を縮小し、収束が保証され、所定のガウスノイズ条件下で I(X;Z)* = 0.7249 という重要な結果が得られる。

ABSTRACT

We consider a channel with discrete binary input X that is corrupted by a given continuous noise to produce a continuous-valued output Y. A quantizer is then used to quantize the continuous-valued output Y to the final binary output Z. The goal is to design an optimal quantizer Q* and also find the optimal input distribution p*(X) that maximizes the mutual information I(X; Z) between the binary input and the binary quantized output. A linear time complexity searching procedure is proposed. Based on the properties of the optimal quantizer and the optimal input distribution, we reduced the searching range that results in a faster implementation algorithm. Both theoretical and numerical results are provided to illustrate our method.

研究の動機と目的

• 二値入力連続出力チャネルにおける入力分布と1ビット量子化器のしきい値の共同最適化を、相互情報量 I(X;Z) を最大化するように行う。
• 量子化器パrameterにおける相互情報量の非凸・非凹性に起因する、標準的な凸最適化手法の適用不能性を克服する。
• 最適解空間に対する解析的境界を導出することで、グローバル最適化の計算複雑性を低減する。
• 実装可能性を考慮した、収束性が保証され、線形時間計算量を有するアルゴリズムを提供する。

提案手法

• 最適量子化しきい値を特定するため、尤度比 r = φ₀(y)/φ₁(y) におけるバイセクション探索を提案する。
• 最適相互情報量に対する解析的境界を導出する。具体的には、A₁₁* > 1/e および A₂₂* > 1/e を証明し、最適チャネル行列の要素 Aᵢⱼ を用いる。
• f(r)（入力が0のとき出力が0である確率）と g(r)（入力が1のとき出力が1である確率）の単調性特性を用いて、探索区間を狭める。
• 縮小された区間 [0.8, 9.1] 内で解像度 ε = 0.01 の全探索を実行し、I(X;Z) のグローバル最大値を特定する。
• f(r) が r に対して単調減少であり、g(r) が r に対して単調増加であるという性質を活用し、効率的なバイセクションにより、f(r) = 1/e および g(r) = 1/e を満たす境界を特定する。
• 定理3、5、6の理論的結果を用いて、r の妥当領域を制約し、計算負荷を顕著に低減する。

実験結果

リサーチクエスチョン

• RQ1 二値入力連続出力チャネルにおいて、相互情報量 I(X;Z) を最大化するグローバル最適な入力分布と1ビット量子化器のしきい値は何か？
• RQ2 最適量子化器しきい値の探索空間をどのように解析的に縮小できるか？計算効率の向上に寄与する。
• RQ3 最適解が存在するためのチャネル行列要素 A₁₁ と A₂₂ に必要な条件は何か？
• RQ4 量子化器パrameterにおける相互情報量の非凸性にもかかわらず、グローバル最適性を達成できる線形時間計算量のアルゴリズムを設計可能か？

主な発見

• φ₀ ~ N(−1, 6) および φ₁ ~ N(1, 5) のチャネルにおいて、最適相互情報量 I(X;Z)* は 0.7249 に達し、r* = 1.36 で実現される。
• 最適量子化器しきい値は尤度比 r* = 1.36 に対応し、A₁₁* > 1/e および A₂₂* > 1/e の条件から導出された縮小された探索区間 [0.8, 9.1] 内に位置する。
• 関数 f(r)（P(Z=0|X=0)）は r に対して厳密に単調減少であり、g(r)（P(Z=1|X=1)）は r に対して厳密に単調増加であるため、効率的なバイセクション探索が可能である。
• 最適入力分布は、条件 (A₁₁ − p₀)(A₂₂ − p₁) ≥ 0 および A₁₁ + A₂₂ ≥ 1 から導かれる A₁₁ ≥ p₀ および A₂₂ ≥ p₁ を満たす。
• 理論的境界による探索空間の縮小は、非凸性にもかかわらず線形時間計算量のアルゴリズムを可能にする顕著な高速化をもたらす。
• 本手法は、ヒューリスティック法や近似最適手法とは異なり、与えられた制約下でグローバル最適性を保証する。