[論文レビュー] Second-Order Converses via Reverse Hypercontractivity

Jingbo Liu, Ramon van Handel+1 more|arXiv (Cornell University)|Dec 25, 2018

Markov Chains and Monte Carlo Methods参考文献 57被引用数 8

ひとこと要約

本稿は、マコフ半群の逆ハイパーコントラクト性に基づく「スムージングアウト」手法を導入し、従来の「吹き出し」法では到達できなかった情報理論における2次の逆問題を確立する。この手法により、$O(1/√{n})$ のオーダーで1次漸近からのずれを定量的に評価することで、有限アルファベットに限らない連続的・マルチユーザー設定への2次の逆問題を拡張する。

ABSTRACT

A strong converse shows that no procedure can beat the asymptotic (as blocklength $n o\infty$) fundamental limit of a given information-theoretic problem for any fixed error probability. A second-order converse strengthens this conclusion by showing that the asymptotic fundamental limit cannot be exceeded by more than $O( frac{1}{\sqrt{n}})$. While strong converses are achieved in a broad range of information-theoretic problems by virtue of the "blowing-up method"---a powerful methodology due to Ahlswede, Gács and Körner (1976) based on concentration of measure---this method is fundamentally unable to attain second-order converses and is restricted to finite-alphabet settings. Capitalizing on reverse hypercontractivity of Markov semigroups and functional inequalities, this paper develops the "smoothing-out" method, an alternative to the blowing-up approach that does not rely on finite alphabets and that leads to second-order converses in a variety of information-theoretic problems that were out of reach of previous methods.

研究の動機と目的

• 従来の手法が失敗する連続的・マルチユーザー情報理論的問題において、2次の逆問題が存在しないという欠如を解消すること。
• 「吹き出し」法に内在する根本的制限を克服し、2次の逆問題を導出できず、かつ有限アルファベットに限定される点を改善すること。
• 逆ハイパーコントラクト性および関数不等式を用いた、新たな一般的手法「スムージングアウト」を確立し、2次の逆問題を導出すること。
• ファーノの不等式、画像サイズの特徴付け、通信制約付き仮説検定といった代表的問題に対する2次の逆問題を確立すること。
• 離散的およびガウス的設定の両方に適用可能な統一的枠組みを提供すること。これには、圧縮された側情報を伴うソース符号化およびブロードキャストチャネルが含まれる。

提案手法

• マコフ半群の逆ハイパーコントラクト性を活用し、スムージング操作による相対エントロピーの減衰を制御する。
• 制御された測度を持つ典型集合 $\mathcal{C}_n$ に条件づけた i.i.d. 参照測度 $Q_X^{\otimes n}$ を用いて、滑らかにした測度 $\mu_n$ を定義する。
• ブラスキャンプ＝リーブの発散と変分表現を用いて、相対エントロピー差 $cD(P_{Y^n}\|\nu^{\otimes n}) - D(P_{X^n}\|\mu_n)$ を評価する。
• 鎖則と i.i.d. の対称性を用い、条件付きエントロピーを含む1文字単位の最適化問題に問題を簡略化する。
• 微分エントロピーのスケーリング性と、(例：カイ二乗の尾部) などの尾部バウンドを用いて、典型集合が平均からどれほどずれているかを制御する。
• 発散式におけるsupremumがガウス分布によって達成されることを証明し、2次項の正確な計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 『吹き出し』法が失敗する連続的・マルチユーザー情報理論的問題において、2次の逆問題を確立できるか。
• RQ2 逆ハイパーコントラクト性および関数不等式は、2次の逆問題を導出するための『吹き出し』法の代替として、どの程度有効に機能するか。
• RQ3 有界およびガウス的ソースに対するファーノの不等式における正確な2次項は何か。
• RQ4 スムージングアウト法は、離散的およびガウス的チャネルにおける画像サイズ特徴付けにおいて、どのように機能するか。
• RQ5 この手法は、通信制約付き仮説検定および圧縮された側情報を伴うソース符号化に適用可能か。

主な発見

• スムージングアウト法は、ガウス的状況において $O(\sqrt{n} \ln(2/\delta))$ のずれ項を伴い、最適な2次漸近と一致する。
• ガウスチャネルでは、半径 $\sim\sqrt{n}$、幅 $O(1)$ の球面的典型集合を用い、$n \geq 20\ln(2/\delta)$ で測度 $1-\delta$ を達成することで、2次の逆問題が導出される。
• 画像サイズ特徴付けにおける2次項は $n d^*(Q_X, Q_{Y|X}, \nu, c) + \sqrt{6n \ln(2/\delta)}$ であることが示され、$d^*$ は最適発散レートを表す。
• 良好なチャネル符号の出力分布に対して2次の逆問題が確立され、出力分布が典型出力から $O(1/\sqrt{n})$ を超えてずれないことが証明される。
• ブロードキャストチャネルでは、ガウス入力制約下で条件付きエントロピーに関する1文字単位の最適化に問題を還元することで、2次の逆問題が得られる。
• 本稿では、発散レートの変分表現におけるsupremumがガウス分布によって達成されることを証明し、2次項の正確な計算が可能になる。