[論文レビュー] Efficient sphere-covering and converse measure concentration via generalized coding theorems

Ioannis Kontoyiannis|ArXiv.org|Oct 12, 1999

Wireless Communication Security Techniques参考文献 15被引用数 3

ひとこと要約

本稿は、符号理論的原則を用いて、離散確率空間における効率的な球被覆と逆測度集中を分析する一般化された枠組みを導入する。質量関数と積測度を用いて最適被覆集合を特徴づけることで、被覆効率に関するタイトな境界を導出し、シャノンのデータ圧縮定理やシュタインの補題といった結果を統一的に扱い、最小限の仮定の下で有限空間上の測度集中に対する新しい逆不等式を確立する。

ABSTRACT

Suppose A is a finite set equipped with a probability measure P and let M be a ``mass'' function on A. We give a probabilistic characterization of the most efficient way in which A^n can be almost-covered using spheres of a fixed radius. An almost-covering is a subset C_n of A^n, such that the union of the spheres centered at the points of C_n has probability close to one with respect to the product measure P^n. An efficient covering is one with small mass M^n(C_n); n is typically large. With different choices for M and the geometry on A our results give various corollaries as special cases, including Shannon's data compression theorem, a version of Stein's lemma (in hypothesis testing), and a new converse to some measure concentration inequalities on discrete spaces. Under mild conditions, we generalize our results to abstract spaces and non-product measures.

研究の動機と目的

• 積確率空間における最適な球被覆を特徴づける確率的枠組みの構築を目的とする。
• 符号理論的構造内で、古典的な情報理論・確率論の結果（シャノンの定理やシュタインの補題など）を統一的に一般化することを目的とする。
• 下位の確率測度に最小限の仮定を置くことにより、離散空間上の測度集中に対する逆不等式を確立することを目的とする。
• 有限空間に限定せず、一般の測度を備えた抽象空間へと結果を拡張することを目的とする。

提案手法

• 有限集合 A に確率測度 P と質量関数 M を備え、A^n における被覆集合の効率を測定する。
• ほとんど被覆（almost-covering）を、C_n ⊂ A^n である部分集合として定義し、C_n の点を中心にした M-球の和集合が P^n において確率1に近い領域をカバーするようにする。
• 効率は M^n(C_n) の最小化により測られ、最適被覆集合の変分的特徴づけが得られる。
• 一般化された符号理論的定理を用いて、このような被覆に要する最小質量の漸近的境界を導出する。
• 大偏差理論とエントロピーに基づく議論を用いて、被覆確率と質量コストのトレードオフを分析する。
• 緩い正則性条件の下で、抽象空間および非積測度へと一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 積測度 P^n の下で、A^n を M-球でほとんど被覆するために必要な最小質量は何か？ これはエントロピーとダイバージェンスとどのように関係するか？
• RQ2 シャノンのデータ圧縮定理やシュタインの補題といった古典的結果が、統一的な符号理論的原則の特殊ケースとしてどのように導かれるか？
• RQ3 この一般化された枠組みを用いて、離散空間上の測度集中に関するどのような逆不等式が得られるか？
• RQ4 球被覆構成はどのような意味で最適であり、質量関数 M の選択が効率にどのように影響するか？
• RQ5 結果は積測度や有限空間を越えてどの程度拡張可能か？

主な発見

• 本稿は、A^n のほとんど被覆に要する最小質量 M^n(C_n) を正確に特徴づけ、それが相対エントロピーを含む変分表現によって漸近的に決定されることを示した。
• M を一様測度に選ぶと、シャノンのデータ圧縮定理が特殊ケースとして得られる。このとき被覆半径は典型系列に対応する。
• 二つの測度の間のダイバージェンス閾値を考慮した仮説検定問題として被覆問題を解釈することで、仮説検定におけるシュタインの補題のバージョンが回復された。
• 本枠組みにより、離散空間上の測度集中に対する新しい逆境界が得られ、濃度はエントロピーに基づくレート関数が予測する以上に強くはならないことが示された。
• 緩い条件下で、抽象空間および非積測度へも結果が拡張可能であり、一般化された符号理論的アプローチの頑健性が示された。
• 導出された境界はタイトであり、確率論および情報理論における球被覆、圧縮、濃度の統一的視点を提供する。