[論文レビュー] An Upgrading Algorithm with Optimal Power Law

Or Ordentlich, Ido Tal|arXiv (Cornell University)|Feb 26, 2020

Error Correcting Code Techniques参考文献 32被引用数 2

ひとこと要約

本稿では、出力アルファベットが大きいチャネルを、所定の出力サイズ L を持つ劣化チャネルに近似する新しいアップグレーディングアルゴリズムを提示する。この際、相互情報量の損失を最小限に抑える。二値チャネル量子化にインspiredされたグリーディーなマージ戦略を用いることで、相互情報量ギャップに O(L^{-2/(|X|-1)}) の最適なべき乗則が達成され、これが漸近的にタイトであることが証明されており、非漸近的設定においても理論的および数値的実験で先行手法を上回る性能を発揮する。

ABSTRACT

Consider a channel $W$ along with a given input distribution $P_X$. In certain settings, such as in the construction of polar codes, the output alphabet of $W$ is `too large', and hence we replace $W$ by a channel $Q$ having a smaller output alphabet. We say that $Q$ is upgraded with respect to $W$ if $W$ is obtained from $Q$ by processing its output. In this case, the mutual information $I(P_X,W)$ between the input and output of $W$ is upper-bounded by the mutual information $I(P_X,Q)$ between the input and output of $Q$. In this paper, we present an algorithm that produces an upgraded channel $Q$ from $W$, as a function of $P_X$ and the required output alphabet size of $Q$, denoted $L$. We show that the difference in mutual informations is `small'. Namely, it is $O(L^{-2/(|\mathcal{X}|-1)})$, where $|\mathcal{X}|$ is the size of the input alphabet. This power law of $L$ is optimal. We complement our analysis with numerical experiments which show that the developed algorithm improves upon the existing state-of-the-art algorithms also in non-asymptotic setups.

研究の動機と目的

• 出力アルファベットが大きいチャネルを、相互情報量をできるだけ保ちながら、より小さい出力サイズにアップグレーディングする効率的なアルゴリズムの開発。
• 元のチャネルとアップグレーデッドチャネル間の相互情報量損失に対する理論的バウンディングを確立し、出力アルファベットサイズ L に伴う最適スケーリングを示す。
• 既存の二値チャネルアップグレーディング技術を一般の非二値入力アルファベットに拡張し、計算効率と理論的最適性を両立する。
• 数値実験を通じて、L が小さい非漸近的領域においても、提案手法が最先端手法を上回ることを示す。

提案手法

• アルゴリズムは、二値チャネル相互情報量に基づくコスト関数から導出された、相互情報量損失が最小となる2つの出力記号を順次マージするグリーディーなマージ手順を用いる。
• 非二値入力アルファベットの場合、各 i = 1, ..., q−1 に対して Xi = 1{X=i} を定義することで、問題を複数の二値サブプロブレムに還元する。
• 各二値サブプロブレムは、先行研究で得られた最適な二値アップグレーディングアルゴリズムを独立に処理し、各サブプロブレムにおける相互情報量損失が 64/Λ² 以下であることが保証される（Λ は各サブプロブレムのターゲット出力サイズ）。
• 最終的な量子化器 f(Y) は、各二値成分の個別量子化器 fi(Y) を組み合わせることで構築され、全体の出力サイズが L で抑えられるようにする。
• 最適なマージが、順序付けられた p_i = P(X=0|Y=i) の系列において隣接する記号間で発生することを利用することで、探索の複雑度を低減する。
• 理論的解析により、マージステップにおけるテレスコピック和を用いて総相互情報量損失をバウンディングし、最終的に O(L^{-2/(|X|-1)}) のべき乗則が得られる。

実験結果

リサーチクエスチョン

• RQ1 出力アルファベットが大きいチャネルを、相互情報量を保ちながら、出力サイズを小さくしたチャネルに効率的に近似できるか？
• RQ2 相互情報量損失の最適スケーリングは、縮小された出力アルファベットサイズ L に対してどのように変化するか？
• RQ3 二値チャネルアップグレーディングアルゴリズムを非二値入力アルファベットに一般化する方法は何か？
• RQ4 導出されたべき乗則 O(L^{-2/(|X|-1)}) は漸近的にタイトか？ また、実際の状況でも達成可能か？

主な発見

• 提案されたアップグレーディングアルゴリズムは、元のチャネルに対して O(L^{-2/(|X|-1)}) の相互情報量損失を達成し、これは漸近的領域で最適であることが証明されている。
• 入力アルファベットサイズが q の場合、相互情報量ギャップは 64(q−1) · ⌊L^{1/(q−1)}⌋^{-2} でバウンデッドされ、明確な性能保証が得られる。
• 特に非二値入力において、計算複雑度の面で先行する劣化/量子化アルゴリズムを上回る。
• 数値実験により、L が小さい非漸近的設定でも、提案手法が既存手法を上回ることが確認された。
• べき乗則はタイトであり、一般の入力分布に対して O(L^{-2/(|X|-1)}) よりも改善できないことが示された。
• 本手法により、メモリありの環境、損失あり圧縮、ワイヤートラップチャネルなど、チャネルアップグレーディングが性能評価に不可欠な状況における極性符号の効率的構築が可能になった。