[論文レビュー] Optimal quantizer structure for binary discrete input continuous output channels under an arbitrary quantized-output constraint

Thuan Nguyen, Thinh Nguyen|arXiv (Cornell University)|Jan 8, 2020

Error Correcting Code Techniques参考文献 17被引用数 5

ひとこと要約

本稿では、事後確率空間 $ r_y $ における凸セル構造である最適量子化器が最適であることを証明することで、任意の出力制約下での二値入力連続出力チャネルにおけるグローバル最適量子化器を提案する。動的計画法を用いることで多項式時間の計算量を達成し、単一しきい値量子化器が最適となる十分条件を特定し、従来の相互情報量最大化における出力制約に関する研究を拡張する。

ABSTRACT

Given a channel having binary input X = (x_1, x_2) having the probability distribution p_X = (p_{x_1}, p_{x_2}) that is corrupted by a continuous noise to produce a continuous output y \in Y = R. For a given conditional distribution p(y|x_1) = ϕ_1(y) and p(y|x_2) = ϕ_2(y), one wants to quantize the continuous output y back to the final discrete output Z = (z_1, z_2, ..., z_N) with N \leq 2 such that the mutual information between input and quantized-output I(X; Z) is maximized while the probability of the quantized-output p_Z = (p_{z_1}, p_{z_2}, ..., p_{z_N}) has to satisfy a certain constraint. Consider a new variable r_y=p_{x_1}ϕ_1(y)/ (p_{x_1}ϕ_1(y)+p_{x_2}ϕ_2(y)), we show that the optimal quantizer has a structure of convex cells in the new variable r_y. Based on the convex cells property of the optimal quantizers, a fast algorithm is proposed to find the global optimal quantizer in a polynomial time complexity.

研究の動機と目的

• 二値入力連続出力チャネルにおける任意の出力制約下でのグローバル最適量子化器設計の欠如を解決すること。
• 最適量子化器構造が事後確率空間 $ r_y $ における凸セルから成ることを証明し、効率的な探索を可能にする。
• 一般の出力制約下でグローバル最適量子化器を求める多項式時間アルゴリズムを開発すること。
• 単一しきい値量子化器が最適となる十分条件を同定すること。

提案手法

• 量子化器設計のための主要な変換空間として、事後確率比 $ r_y = \frac{p_{x_1}\phi_1(y)}{p_{x_1}\phi_1(y) + p_{x_2}\phi_2(y)} $ を導入する。
• 任意の量子化器が、相互情報量に損失を生じさせず、出力確率制約の違反も増加させない、等価な $ r_y $-空間における凸セル量子化器に置き換えられることを証明する。
• 加法的制約構造を持つ場合に、$ r_y $-空間上で動的計画法を用いることで、グローバル最適量子化器を多項式時間で探索する。
• 単一しきい値量子化器が最適となる十分条件を、$ \frac{\phi_2(y)}{\phi_1(y)} $ の単調性に基づいて導出する。
• 数学的帰納法と構造的分解を用いて、出力レベル数を増加させるごとに凸セル性を再帰的に証明する。
• 最適しきい値 $ a^* \in (0,1) $ を $ r_y = a^* $ を解くことにより、最終的な量子化器のしきい値を構築する。

実験結果

リサーチクエスチョン

• RQ1 出力分布 $ p_Z $ に対する任意の制約下で、相互情報量 $ I(X;Z) $ を最大化する量子化器の最適構造は何か？
• RQ2 このような制約下でも、グローバル最適量子化器は多項式時間で求められるか？
• RQ3 元の $ y $-空間における単一しきい値量子化器が最適となる条件は何か？
• RQ4 事後確率空間 $ r_y $ は、最適化を簡素化する凸セル構造を有するか？
• RQ5 制約が出力確率上で加法的である場合、動的計画法を用いて最適量子化器を構築できるか？

主な発見

• 任意の出力制約下における二値入力連続出力チャネルの最適量子化器は、事後確率空間 $ r_y $ において凸セル構造を有する。
• 出力確率上で加法的である制約（例：エントロピー、電力）がある場合、動的計画法を用いることで、グローバル最適量子化器を多項式時間で探索可能である。
• 二値量子化出力（$ N=2 $）の場合、$ \frac{\phi_2(y)}{\phi_1(y)} $ が厳密に単調であれば、単一しきい値量子化器が最適である。
• 任意の量子化器を、同じ出力分布 $ p_Z $ を持つ凸セル量子化器に置き換えても、相互情報量 $ I(X;Z) $ は非減少である。
• 提案されたアルゴリズムは、従来の局所的または近似的な最適解にとどまらず、グローバル最適性を達成する。
• アルゴリズムの時間計算量は、量子化レベル数に対して多項式的であり、実用的応用においてスケーラブルである。