[論文レビュー] Greedy-Merge Degrading has Optimal Power-Law

Assaf Kartowsky, Ido Tal|arXiv (Cornell University)|Mar 15, 2017

Error Correcting Code Techniques参考文献 18被引用数 3

ひとこと要約

この論文は、チャネル劣化にためのグリーディーマージアルゴリズムが、相互情報量損失において最適なべき乗則スケーリングを達成することを確立しており、その低減量は情報理論的下界の定数倍の範囲内に制限される。さらに、同じべき乗則がチャネルアップグレーディングに対しても適用可能であることが示され、特定のチャネルが inherently にアップグレーディングが難しいことが明らかになり、相互情報量の増加を最小化する最適なバイナリ入力チャネルアップグレーディングのための効率的なアルゴリズムと、それに一致する理論的保証が提示される。

ABSTRACT

Consider a channel with a given input alphabet size and a given input distribution. Our aim is to degrade or upgrade it to a channel with at most L output letters. The paper contains four main results. The first result, from which the paper title is derived, deals with the so called "greedy-merge" algorithm. We derive an upper bound on the reduction in mutual information between input and output. This upper bound is within a constant factor of an algorithm-independent lower bound. Thus, we establish that greedy-merge is optimal in the power-law sense. The other main results deal with upgrading. The second result shows that a certain sequence of channels that was previously shown to be "hard" for degrading, displays the same hardness in the context of upgrading. That is, suppose we are given such a channel and a corresponding input distribution. If we upgrade (degrade) to a new channel with L output letters, we incur an increase (decrease) in mutual information between input and output. We show that a previously derived bound on the decrease in mutual information for the degrading case is also a lower bound on the increase for the upgrading case. The third result is an efficient algorithm for optimal upgrading, in the binary-input case. That is, we are given a channel and an input distribution. We must find an upgraded channel with L output letters, for which the increase in mutual information is minimal. We give a simple characterization of such a channel, which implies an efficient algorithm. The fourth result is an analog of the first result for the upgrading case, when the input is binary. That is, we first present a sub-optimal algorithm for the setting considered in the third result. By analyzing the algorithm, we show that the increase incurred in mutual information is within a constant factor of the lower bound derived in the second result.

研究の動機と目的

• グリーディーマージアルゴリズムのチャネル劣化における性能を分析し、べき乗則の意味で最適性を証明すること。
• 劣化が難しいとされる特定のチャネルが、アップグレーディングに対しても同様に困難であることを示し、対称的な情報理論的限界を確立すること。
• 相互情報量の増加を最小化するバイナリ入力チャネルの最適アップグレーディングのための効率的なアルゴリズムを開発すること。
• 劣化からアップグレーディングへのべき乗則分析を拡張し、部分的に最適でないアルゴリズムでも理論的下界の定数倍の性能を達成できることを示すこと。

提案手法

• 与えられた入力分布を持つチャネルを、高々 $L$ 個の出力記号に縮小するためのグリーディーマージアルゴリズムを提案し、相互情報量損失を最小化する。
• グリーディーマージアルゴリズムを用いた相互情報量の低減量に対する上界を導出し、$O(L^{-2/(| cal{X}|-1)})$ のスケーリングに比例することを示す。
• 特定のチャネルの系列に対して、$ Omega(L^{-2/(| cal{X}|-1)})$ の下界を示すことにより、この上界が定数倍の意味でタイトであることを証明する。
• アップグレーディング問題を同様に分析し、相互情報量の増加に対しても同様のべき乗則下界が成立することを示す。
• バイナリ入力チャネルの最適アップグレードされたチャネルを特徴づける手法を導入し、それを基に効率的なアルゴリズムを構築する。
• アップグレーディングのケースに対しても、同じ分析フレームワークを適用し、部分的に最適でないグリーディースプリットに類似したアルゴリズムが、最適な下界の定数倍の性能を達成できることを証明する。

実験結果

リサーチクエスチョン

• RQ1 グリーディーマージアルゴリズムは、$L$ に関する相互情報量損失のスケーリングにおいて最適か？
• RQ2 劣化が難しいとされるチャネルは、アップグレーディングに対しても同様に困難か？
• RQ3 バイナリ入力チャネルに対して、最適なアップグレーディングアルゴリズムを効率的に構築できるか？
• RQ4 部分的に最適でないアップグレーディングアルゴリズムでも、相互情報量増加の観点で近似的に最適な性能を達成できるか？
• RQ5 劣化およびアップグレーディングにおいて、最小達成可能な相互情報量変化の根本的なべき乗則スケーリングは何か？

主な発見

• グリーディーマージアルゴリズムは、$O(L^{-2/(| cal{X}|-1)})$ の相互情報量損失を達成し、これは定数倍の意味で最適である。
• 特定のチャネルの系列に対して、$ Omega(L^{-2/(| cal{X}|-1)})$ の最小相互情報量損失下界が存在し、べき乗則がタイトであることを証明する。
• 劣化が難しいとされる同じチャネル系列は、アップグレーディングに対しても困難であり、$ Delta I_{ uparrow}^{ ast} = Omega(L^{-2/(| cal{X}|-1)})$ が成り立つ。
• バイナリ入力チャネルの最適アップグレーディングのための効率的なアルゴリズムが提示され、最適出力分布の明確な特徴づけに基づく。
• アップグレーディングのケースにおいて、部分的に最適でないアルゴリズムが理論的下界の定数倍の相互情報量増加に留まることを示した。
• 解析により、べき乗則の指数 $-2/(| cal{X}|-1)$ が、入力アルファベットサイズ $| cal{X}|$ にかかわらず、劣化およびアップグレーディングの両方において根本的であることが確認された。