[論文レビュー] Analysis of Remaining Uncertainties and Exponents under Various Conditional Rényi Entropies

Vincent Y. F. Tan, Masahito Hayashi|arXiv (Cornell University)|May 31, 2016

Wireless Communication Security Techniques参考文献 34被引用数 4

ひとこと要約

本稿は、条件付きRényiエントロピーを用いてSlepian-Wolfソース符号化における残存不確実性の漸近的挙動を分析し、新たなワンショット境界とタイプクラス生成関数のモーメント法を導入する。本稿では、最大事後確率推定による誤り指数と強力な逆指数の両方を一般化する形で、不確実性の指数的減衰率が得られ、側情報付きの損失なし符号化における不確実性と信頼性の分析を統一的に扱う枠組みを確立する。

ABSTRACT

In this paper, we analyze the asymptotics of the normalized remaining uncertainty of a source when a compressed or hashed version of it and correlated side-information is observed. For this system, commonly known as Slepian-Wolf source coding, we establish the optimal (minimum) rate of compression of the source to ensure that the remaining uncertainties vanish. We also study the exponential rate of decay of the remaining uncertainty to zero when the rate is above the optimal rate of compression. In our study, we consider various classes of random universal hash functions. Instead of measuring remaining uncertainties using traditional Shannon information measures, we do so using two forms of the conditional Rényi entropy. Among other techniques, we employ new one-shot bounds and the moments of type class enumerator method for these evaluations. We show that these asymptotic results are generalizations of the strong converse exponent and the error exponent of the Slepian-Wolf problem under maximum \emph{a posteriori} (MAP) decoding.

研究の動機と目的

• 圧縮されたソースと相関する側情報が観測される状況下で、Slepian-Wolfソース符号化における残存不確実性の漸近的減衰率を分析すること。
• シャノンエントロピーの代わりに条件付きRényiエントロピーを用いることで、Slepian-Wolf符号化の強力な逆指数と誤り指数を一般化すること。
• 新たなワンショット境界を構築し、タイプクラス生成関数のモーメント法を用いて不確実性とその指数的減衰を評価すること。
• さまざまなRényiパラメータ下でのランダムなユニバーサルハッシュ関数が残存不確実性を最小化する際の影響を調査すること。
• Rényi発散と条件付きエントロピー測度を用いて、情報理論的セキュリティとソース符号化における不確実性と信頼性の分析を統一すること。

提案手法

• 著者らは、曖昧さを避けるために、$ H_{1+s}(A^n|f(A^n),E^n) $ とそのGallager形式 $ H_{1+s}^\uparrow(A^n|f(A^n),E^n) $ の2種類の条件付きRényiエントロピーを用いる。
• Rényi発散と大偏差技法を用いて、一時的表現を単一記号化するための新たなワンショット境界を導出する。
• タイプクラス生成関数のモーメント法を応用し、特にランダムユニバーサルハッシュ関数の文脈において不確実性の指数的減衰を分析する。
• タイプの方法と傾き付き分布を用いて、最適な圧縮レートと不確実性の減衰指数を特徴付ける。
• 最適化された $ \Lambda(s,R) $ の解析を通じて、不確実性の減衰とSlepian-Wolf符号化における既知の指数との指数的同等性を確立する。
• 側情報の経験的分布の平均化を用いて、条件付き結果を導出し、$ Q_E $-依存のエントロピーと相対エントロピーを用いる。

実験結果

リサーチクエスチョン

• RQ1 残存不確実性の指数的減衰率は、Slepian-Wolf符号化における強力な逆指数とどのように関係しているか？
• RQ2 最大事後確率推定による誤り指数が、Rényiベースの不確実性減衰の特殊ケースとして回復可能か？
• RQ3 Rényiエントロピー測度下で、残存不確実性が漸近的に消えることを保証する最適圧縮レートは何か？
• RQ4 さまざまなクラスのユニバーサルハッシュ関数は、側情報が存在する状況下で不確実性の減衰率にどのように影響を与えるか？
• RQ5 Rényiパラメータ $ s $ は、圧縮レートと不確実性のトレードオフを特徴付ける役割を果たすか？

主な発見

• 残存不確実性 $ -\frac{1}{n}\log H_{1+s}(A^n|f(A^n),E^n) $ の指数的減衰率が、Slepian-Wolf符号化における強力な逆指数と誤り指数の両方を一般化することが示された。
• 圧縮レート $ R $ が最適レート $ H(A|E) $ を超える場合、不確実性は $ \Lambda(s,R) = s(R + D(P_{A|E}^{(t_R)}\|P_{A|E}|Q_E)) $ によって支配される指数的減衰率を示し、ここで $ t_R $ は $ H(P_{A|E}^{(t_R)}|Q_E) = R $ を満たす。
• $ R < H_{1-s}(A|P_A) $ および $ s \in [0, s_0(A|P_A)] $ の場合、不確実性の減衰率はタイプクラス生成関数のモーメント法による下限と一致し、タイトネスが確認された。
• 従来の[19]の結果を、誤った確率から残存不確実性へと焦点を移すことで一般化し、新規のワンショット境界と大偏差ツールの必要性が生じた。
• 側情報の経験的タイプの平均化を用いることで、条件付き不確実性の減衰が導出され、適切な条件下で $ \Lambda(s,R) = s(R + D(P_{A|E}^{(t_R)}\|P_{A|E}|Q_E)) $ が得られた。
• 分析により、$ \widetilde{\beta}_n \doteq \exp(-n\Lambda(s,R)) $ が成り立つことが確認され、不確実性の減衰が最適化された $ \Lambda(s,R) $ に指数的に支配されることを示した。