[論文レビュー] Entropy-Constrained Maximizing Mutual Information Quantization

Thuan Nguyen, Thinh Nguyen|arXiv (Cornell University)|Jan 7, 2020

Advanced Data Compression Techniques参考文献 20被引用数 6

ひとこと要約

本稿では、二値入力チャネルにおけるエントロピー制約のもとで入力と量子化出力間の相互情報量を最大化するグローバル最適量子化器を求める多項式時間アルゴリズムを提案する。この手法は動的計画法を用いてNP困難な分割問題を効率的に解き、連続出力チャネルへは、単一しきい値最適性の十分条件を示すことによって拡張する。

ABSTRACT

In this paper, we investigate the quantization of the output of a binary input discrete memoryless channel that maximizing the mutual information between the input and the quantized output under an entropy-constrained of the quantized output. A polynomial time algorithm is introduced that can find the truly global optimal quantizer. These results hold for binary input channels with an arbitrary number of quantized output. Finally, we extend these results to binary input continuous output channels and show a sufficient condition such that a single threshold quantizer is an optimal quantizer. Both theoretical results and numerical results are provided to justify our techniques.

研究の動機と目的

• 局所最適解に限られていた、エントロピー制約のもとで相互情報量を最大化するグローバル最適量子化器の探索という課題に取り組む。
• 出力点M個をK個の集合に分割する際の全探索（$O(K^M)$）の計算困難性を克服する。
• 任意の量子化出力レベルをもつ二値入力チャネルに対してグローバル最適解を提供する。
• 連続出力二値入力チャネルへフレームワークを拡張し、単一しきい値量子化器が最適となる条件を同定する。
• 目的関数におけるトレードオフパラメータ $\beta$ を用いて相互情報量最大化とエントロピー最小化をバランスさせる。

提案手法

• 最適化を $\max_Q \beta I(X;Z) - H(Z)$ として定式化し、これは $\beta H(X|Z) + H(Z)$ の最小化と同等である。ここで $\beta$ はトレードオフを制御する。
• 状態 $D(i,j,k)$ を用いた動的計画法を適用し、インデックス $i$ から $j$ までの点を $k$ 個のクラスタに分割する最小コストを表す。
• 再帰関係 $D(i,j,k) = \min_{q \in [i,j]} \{ D(i,q,k-1) + D(q+1,j,1) \}$ を用いて、下から上へ解を構築する。
• DPテーブル計算後、格納されたインデックス $H_k(j)$ を用いてバックトラックし、最適なしきい値を再構築する。
• 連続チャネルでは、尤度比 $r(y) = p_{x_1|y}$ におけるスカラーパrameter $a^*$ の探索に問題を還元し、計算量は $O(M)$ となる。
• もし $\phi_2(y)/\phi_1(y)$ が厳密に単調であれば、$r(y)$ も厳密に単調であることが証明され、単一最適しきい値が保証される。

実験結果

リサーチクエスチョン

• RQ1 二値入力チャネルにおいて、エントロピー制約のもとでグローバル最適量子化器を多項式時間で見つけられるか？
• RQ2 提案された動的計画法は、従来の反復的手法が失敗する場面でもグローバル最適性を保証するか？
• RQ3 連続出力二値入力チャネルにおいて、単一しきい値量子化器が最適となる条件は何か？
• RQ4 トレードオフパラメータ $\beta$ は、量子化出力における相互情報量とエントロピーのバランスにどのように影響するか？
• RQ5 本手法は、グローバル最適性と計算効率を保ちながら連続チャネルへ拡張可能か？

主な発見

• 提案された動的計画法アルゴリズムは、$M$ 個の出力点と $K$ 個の量子化レベルをもつ二値入力チャネルにおいて、$O(KM^2)$ 時間でグローバル最適性を達成する。
• 連続二値入力チャネルでは、尤度比 $\phi_2(y)/\phi_1(y)$ が厳密に単調であれば、単一しきい値量子化器が最適である。
• 数値結果では、$H(Z) \leq 1.18$ の場合、最適な $\beta = 6$ により $I^*(X;Z) = 0.87274$ および $H^*(Z) = 1.795$ が得られ、ガウスノイズチャネル下で成立する。
• 局所最適解に陥る反復的手法と異なり、本アルゴリズムはグローバル解への一貫した収束を示しており、性能が優れている。
• 本手法はスケーラブルで効率的であり、$O(K^M)$ の全探索に比べて時間計算量が著しく低い。
• 単一しきち値最適性の十分条件を理論的に確立することで、エントロピー制約付き量子化分野における先行研究を一般化した。