[論文レビュー] Extremal relations between shannon entropy and ℓ α -norm

Yuta Sakai, Ken‐ichi Iwata|arXiv (Cornell University)|Oct 1, 2016

Wireless Communication Security Techniques参考文献 16被引用数 1

ひとこと要約

本稿では、n ≤ 2 におけるn次元確率ベクトルに対して、シャノンエントロピーとℓαノルムの間の鋭い境界を、解析的最適化を用いて導出し、極値的関係を特定する。これらの結果を、一様入力分布下での相互情報量やギャラッジャーの信頼性関数E₀といった情報測度に応用し、通信システムにおけるタイトな理論的限界を導出する。

ABSTRACT

The paper examines the relationships between the Shannon entropy and the l α -norm for n-dimensional probability vectors, n ≤ 2. More precisely, we investigate the sharp bounds on the l α -norm with a fixed Shannon entropy, and vice versa. As applications of the results, we derive the sharp bounds between the Shannon entropy and several information measures which are determined by the l α -norm. Moreover, we apply these results to uniformly focusing channels. Then, we show the sharp bounds on Gallager's reliability functions E 0 with a fixed mutual information under a uniform input distribution.

研究の動機と目的

• 低次元の確率ベクトル（n ≤ 2）におけるシャノンエントロピーとℓαノルムの間のタイトな解析的境界を導出すること。
• 両方向の極値的関係を調査すること：エントロピーを固定してℓαノルムの境界を求める、および逆にℓαノルムを固定してエントロピーの境界を求める。
• ℓαノルムに基づく情報測度（相互情報量やギャラッジャーのE₀関数など）にこれらの境界を応用すること。
• 一様入力分布下で相互情報量が固定された場合のギャラッジャーの信頼性関数E₀に対する鋭い境界を確立すること。

提案手法

• シャノンエントロピーを固定したもとでのℓαノルムの極値を求めるための変分最適化技術の使用。
• ラグランジュ乗数と対称性の考察を用いて、確率単体上での制約付き最適化問題を解く。
• 与えられたエントロピーレベルで達成可能な最小および最大のℓαノルムの閉形式表現の導出。
• 情報理論的測度をℓαノルムの形に表現することで、導出された境界をそれらに応用する。
• 一様に焦点を当てるチャネルの分析により、一様入力分布下での入出力動作をモデル化する。
• エントロピーとℓαノルムの双対性を用いて、相互情報量を用いてギャラッジャーのE₀関数を境界づける。

実験結果

リサーチクエスチョン

• RQ1 n次元確率ベクトル（n ≤ 2）において、与えられたシャノンエントロピー値に対してℓαノルムの最もタイトな上界および下界は何か？
• RQ2 ℓαノルムの極値的値がシャノンエントロピーの取り得る範囲をどのように制約するか？
• RQ3 入力分布が一様である場合、これらの境界が相互情報量に与える影響は何か？
• RQ4 ℓαノルムに基づく境界を、固定された相互情報量下でのギャラッジャーの信頼性関数E₀を特徴付けるためにどのように拡張できるか？
• RQ5 一様に焦点を当てるチャネルにおいて、エントロピーとℓαノルムの間の最適なトレードオフは何か？

主な発見

• n ≤ 2 において、シャノンエントロピーの関数としてのℓαノルムの鋭い上界および下界が、明示的な解析的表現とともに導出された。
• 極値のℓαノルム値は、αおよびエントロピーの値に応じて、対称的または境界上の確率ベクトルで達成される。
• ℓαノルムの関係から導かれた相互情報量の境界はタイトであり、一様に焦点を当てるチャネルに適用可能である。
• 一様入力下で、相互情報量を用いてギャラッジャーの信頼性関数E₀がエントロピー-ℓαノルムの双対性を用いて境界づけられ、明示的な極値が導出された。
• これらの結果は、低次元設定においてℓαノルムがエントロピーの強力な代理指標であることを示しており、よりタイトな情報理論的境界の達成を可能にする。
• 変分法による証明により、追加の制約なしにはこれらの境界を改善できないことが示された。