[論文レビュー] Local Pinsker inequalities via Stein's discrete density approach

Christophe Ley, Yvik Swan|arXiv (Cornell University)|Nov 15, 2012

Random Matrices and Applications参考文献 30被引用数 4

ひとこと要約

本稿では、新しいスティーン作用素フレームワークを用いて、一般化された離散フィッシャー情報距離 $ olcal{J}(X,Y)$ を導入する。この距離は、全変動距離の二乗を支配することを証明し、既存の結果と比較してより良い定数を有する局所的ピンスカー型不等式を確立する。

ABSTRACT

Pinsker's inequality states that the relative entropy $d_{\mathrm{KL}}(X, Y)$ between two random variables $X$ and $Y$ dominates the square of the total variation distance $d_{\mathrm{TV}}(X,Y)$ between $X$ and $Y$. In this paper we introduce generalized Fisher information distances $\mathcal{J}(X, Y)$ between discrete distributions $X$ and $Y$ and prove that these also dominate the square of the total variation distance. To this end we introduce a general discrete Stein operator for which we prove a useful covariance identity. We illustrate our approach with several examples. Whenever competitor inequalities are available in the literature, the constants in ours are at least as good, and, in several cases, better.

研究の動機と目的

• スティーンの方法を用いて、離散確率における局所的ピンスカー不等式の一般枠組みを構築すること。
• 離散確率分布 $X$ と $Y$ 間の乖離度を測る一般化された離散フィッシャー情報距離 $\mathcal{J}(X,Y)$ を定義すること。
• 新しい離散スティーン作用素に対して、共分散恒等式を確立し、情報理論的不等式の導出を可能にすること。
• 既存の文献における境界を改善し、離散分布における局所的ピンスカー不等式のより緊密な定数を提供すること。
• ポissonおよび二項分布に基づく既存のアプローチを統合・一般化し、離散情報距離の枠組みを包括的に統一すること。

提案手法

• 任意の標的分布 $p$ に対して適合する一般離散スティーン作用素を定義し、$\mathcal{F}^\eta(p)$ 内の関数に対して前向きおよび後向き作用素を用いる。
• スティーン作用素と一般化されたフィッシャー情報距離 $\mathcal{J}(X,Y) = \mathbb{E}_q[(r(p,q)(Y))^2]$ を結びつける重要な共分散恒等式を導出する。ここで $r(p,q)$ はスコアに類似した汎関数である。
• ポアソン、二項、負超幾何分布、およびギブズ測度の具体的な分布に対してフレームワークを適用し、スティーン作用素の明示的形を導出する。
• $\mathcal{J}(X,Y) \geq 0$ が成り立ち、等号成立は $X \stackrel{\mathcal{L}}{=} Y$ のときに限ることを示し、関数的量が適切な乖離尺度として機能することを保証する。
• 共分散恒等式を用いて、$d_{\mathrm{TV}}(X,Y) \leq \kappa \sqrt{\mathcal{J}(X,Y)}$ という局所的ピンスカー不等式を証明する。ここで $\kappa$ は標的分布 $p$ のみに依存する。
• 具体例を通じてフレームワークの有効性を検証し、得られた不等式における定数が、先行研究のものと比較して少なくとも同等以上であり、多くの場合より良好であることを示す。

実験結果

リサーチクエスチョン

• RQ1 任意の離散分布に対して、全変動を支配するフィッシャー型情報距離をもたらす一般離散スティーン作用素を構築可能か？
• RQ2 得られる一般化されたフィッシャー情報距離 $\mathcal{J}(X,Y)$ が、標的分布にのみ依存する普遍定数 $\kappa$ を用いた局所的ピンスカー不等式を満たすか？
• RQ3 ポアソン、二項分布、およびその他の離散標的分布に対して、導出された局所的ピンスカー不等式の定数は、既存の文献におけるものと比較してどのように異なるか？
• RQ4 指数型分布族やその他の離散指数型分布族に対して、統一的な作用素構築法を用いてフレームワークを体系的に適用可能か？
• RQ5 共分散恒等式は、離散設定におけるスティーン作用素と情報理論的発散の間の関係をどのように確立するか？

主な発見

• 一般化されたフィッシャー情報距離 $\mathcal{J}(X,Y)$ は、新しい離散スティーン作用素を介して定義され、$\mathcal{J}(X,Y) \geq 0$ が成り立ち、等号成立は $X \stackrel{\mathcal{L}}{=} Y$ のときに限る。
• 本稿では局所的ピンスカー不等式 $d_{\mathrm{TV}}(X,Y) \leq \kappa \sqrt{\mathcal{J}(X,Y)}$ を証明し、ここで $\kappa$ は標的分布 $p$ のみに依存する。
• ポアソン標的分布に対しては、導出された定数は、既存の方法（$\mathcal{K}(Po(\lambda),Y)$ や $\mathcal{J}(Po(\lambda),Y)$ を用いるもの）と比較して少なくとも同等以上であり、多くの場合より良好である。
• フレームワークは、二項分布、負超幾何分布、およびギブズ測度など、複数の離散分布に適用され、スティーン作用素および対応する情報距離の明示的形が得られた。
• 離散スティーン作用素に対して導出された共分散恒等式により、局所的ピンスカー不等式が統一的かつ一般的に導出可能となった。
• より洗練されたスコア関数の構築を活用することで、既知の境界を改善し、特に乗法的定数 $\kappa$ の観点で優れた結果が得られた。