[論文レビュー] Concentration of Measure Inequalities in Information Theory, Communications and Coding (Second Edition)

Maxim Raginsky, Igal Sason|arXiv (Cornell University)|Dec 19, 2012

Wireless Communication Security Techniques参考文献 4被引用数 14

ひとこと要約

この第2版は、情報理論的基礎と通信・符号理論への応用に重点を置き、現代の濃縮不等式を包括的に調査している。マルティングルとエントロピー法——特に対数ソボレフ不等式と輸送コスト不等式を通じて——を統一的枠組みとして用い、鋭い濃縮境界を導出する。符号理論、強力な逆問題、良好な符号の経験的分布に関する新規結果を提示する。

ABSTRACT

During the last two decades, concentration inequalities have been the subject of exciting developments in various areas, including convex geometry, functional analysis, statistical physics, high-dimensional statistics, pure and applied probability theory, information theory, theoretical computer science, and learning theory. This monograph focuses on some of the key modern mathematical tools that are used for the derivation of concentration inequalities, on their links to information theory, and on their various applications to communications and coding. In addition to being a survey, this monograph also includes various new recent results derived by the authors. The first part of the monograph introduces classical concentration inequalities for martingales, as well as some recent refinements and extensions. The power and versatility of the martingale approach is exemplified in the context of codes defined on graphs and iterative decoding algorithms, as well as codes for wireless communication. The second part of the monograph introduces the entropy method, an information-theoretic technique for deriving concentration inequalities. The basic ingredients of the entropy method are discussed first in the context of logarithmic Sobolev inequalities, which underlie the so-called functional approach to concentration of measure, and then from a complementary information-theoretic viewpoint based on transportation-cost inequalities and probability in metric spaces. Some representative results on concentration for dependent random variables are briefly summarized, with emphasis on their connections to the entropy method. Finally, we discuss several applications of the entropy method to problems in communications and coding, including strong converses, empirical distributions of good channel codes, and an information-theoretic converse for concentration of measure.

研究の動機と目的

• 情報理論的基礎に焦点を当てた、濃縮不等式の統一的かつ詳細な取り扱いを提供すること。
• 古典的な確率的ツールと符号理論および通信システム分野における現代的応用を橋渡しすること。
• 従属確率変数のための濃縮に関する新規結果を提示し、それらが符号理論および情報理論に与える影響を明らかにすること。
• 強力な逆問題とチャネル符号の経験的分布への応用を通じて、エントロピー法の有効性を示すこと。
• 輸送コスト不等式や対数ソボレフ不等式などの情報理論的ツールを用いて、既存の濃縮不等式を拡張・精緻化すること。

提案手法

• 従属確率変数のための濃縮不等式を導出するためにマルティングル法を適用し、特にグラフィカルモデルや反復復調アルゴリズムに応用する。
• 対数ソボレフ不等式を通じたエントロピー法を、濃縮不等式の関数的アプローチとして導入する。
• 輸送コスト不等式と距離空間確率論を用いて濃縮を再解釈し、情報理論的発散と接続する。
• 相対エントロピーとフィッシャー情報量を用いて、高次元かつ従属的な設定における偏差の境界を定量化する。
• 情報理論的ツールと確率的不等式を組み合わせ、情報理論における強力な逆問題を導出する。
• エントロピー法を用いて良好なチャネル符号の経験的分布を分析し、典型的挙動の周囲に集中することを示す。

実験結果

リサーチクエスチョン

• RQ1 エントロピー法を高次元かつ従属的な設定において、どのように体系的に濃縮不等式を導出できるか。
• RQ2 対数ソボレフ不等式と情報理論的文脈における濃縮不等式との間の関係は何か。
• RQ3 輸送コスト不等式と距離空間確率論は、符号理論および通信システムにおける濃縮分析をどのように強化するか。
• RQ4 エントロピー法が情報理論においてどのように強力な逆問題を導くか。
• RQ5 良好なチャネル符号の経験的分布はどのように典型分布の周囲に集中するのか。これには符号設計にどのような含意があるか。

主な発見

• 対数ソボレフ不等式に基づくエントロピー法は、鋭い濃縮不等式を導出する強力で柔軟な枠組みを提供する。
• エントロピー法を用いて導出された濃縮不等式は、情報理論における強力な逆問題をもたらし、通信速度の根本的限界を確立する。
• 良好なチャネル符号の経験的分布は、典型分布の周囲にきわめて緊密に集中しており、符号定理における典型系列の使用を正当化する。
• マルティングルアプローチは、グラフィカル符号や反復復調における濃縮を効果的に捉え、無線通信システムにおける性能分析を可能にする。
• 輸送コスト不等式は、情報理論的発散と距離空間における濃縮を結ぶ強固なリンクを提供する。
• 従属確率変数に関する新規結果は、エントロピー法が独立な設定にとどまらず、構造化符号理論や信号処理への応用を可能にすることを示している。