[論文レビュー] Guessing Revisited: A Large Deviations Approach

Manjesh K. Hanawal, Rajesh Sundaresan|NOT FOUND REPOSITORY (Indian Institute of Science Bangalore)|Aug 11, 2010

Computability, Logic, AI Algorithms参考文献 17被引用数 4

ひとこと要約

本稿は、情報スペクトルが大偏差原理（LDP）を満たす場合に、推測問題における極限推測指数が存在することを確立する大偏差枠組みを構築する。指数は、レート関数のLegendre-Fenchel双対のスカラー倍として与えられ、指数的コスト下でのRényiエントロピー率および圧縮指数の先行結果を統一する。

ABSTRACT

The problem of guessing a random string is revisited. A close relation between guessing and compression is first established. Then it is shown that if the sequence of distributions of the information spectrum satisfies the large deviation property with a certain rate function, then the limiting guessing exponent exists and is a scalar multiple of the Legendre-Fenchel dual of the rate function. Other sufficient conditions related to certain continuity properties of the information spectrum are briefly discussed. This approach highlights the importance of the information spectrum in determining the limiting guessing exponent. All known prior results are then re-derived as example applications of our unifying approach.

研究の動機と目的

• 大偏差に基づく一般な十分条件を同定することで、既存の推測指数に関する結果を統一すること。
• 指数的コスト下での推測と圧縮の正確な関係を確立し、両者の極限指数が等価であることを示すこと。
• 情報スペクトルのレート関数のLegendre-Fenchel双対に等しい極限推測指数が、LDPのもとで成立することを示すこと。
• i.i.d.、マルコフ、ユニフィラー源に適用可能な一般枠組みを提供することにより、先行の特定ケースを越えて拡張すること。
• 情報スペクトルが推測および圧縮の極限挙動を支配する中心的対象たる役割を強調すること。

提案手法

• 指数的コスト下での推測と圧縮の双対性を確立し、極限推測指数が極限圧縮指数に等しいことを示すこと。
• 情報スペクトル $ \frac{1}{n}\ln \frac{1}{P_n(X^n)} $ が大偏差原理（LDP）を満たすものと仮定し、Varadhanの定理（積分の漸近挙動）を適用すること。
• Legendre-Fenchel変換を用いて、極限推測指数を $ \sup_t \{ \beta t - I(t) \} $ として表現すること。ここで $ I(t) $ はLDPのレート関数である。
• 情報スペクトルのモーメント母関数が、正規化されたRényiエントロピー率に収束することを示し、既知のエントロピーに基づく測定値と結びつけること。
• Varadhanの定理における技術的条件（36）を、アルファベットの基数と指数的減衰を用いた尾確率のバウンディングにより検証すること。
• Ky Fanのミニマックス結果を適用し、圧縮定式における上界と下限の交換を正当化し、最適長さ関数の存在を保証すること。

実験結果

リサーチクエスチョン

• RQ1 分布の系列に対して、極限推測指数が存在する一般的条件は何か？
• RQ2 Campbellの符号化問題における指数的コスト下で、推測指数と圧縮指数はどのように関係しているか？
• RQ3 情報スペクトル $ \frac{1}{n}\ln \frac{1}{P_n(X^n)} $ が極限推測指数を決定づける明確な役割は何か？
• RQ4 情報スペクトルのレート関数のLegendre-Fenchel双対を用いて、極限推測指数を特徴づけられるか？
• RQ5 i.i.d.、マルコフ、ユニフィラーなどのどの種の源が、その情報スペクトルについて大偏差性質を満たすか？

主な発見

• 情報スペクトルが大偏差原理（LDP）を満たす限り、極限推測指数 $ E(\rho) = \lim_{n\to\infty} \frac{1}{n} \ln \mathbb{E}[G_n^*(X^n)^\rho] $ が存在する。
• 極限指数は $ \beta \cdot \sup_t \{ t - I(t) \} $ で与えられ、ここで $ \beta = \rho/(1+\rho) $、$ I(t) $ はLDPのレート関数である。
• 既知のケースを一般化する：i.i.d.源の場合、指数は $ \rho H_\alpha(P_1) $ に簡略化され、$ \alpha = 1/(1+\rho) $ と一致し、Rényiエントロピーに一致する。
• 不可約マルコフ連鎖の場合、指数は遷移行列の $ \alpha $ 乗のPerron-Frobenius固有値の対数に等しい。
• 指数的コスト下での推測と圧縮の間の同等性が正式に確立された：両者の指数は等しく、情報スペクトルの同一の正規化積率によって決定される。
• すべての既知のケース（i.i.d.、マルコフ、ユニフィラー、有限状態源）はLDP条件を満たし、したがって極限指数が存在する。これは大偏差枠組みによって示された。