[論文レビュー] A Note on a Characterization of Rényi Measures and its Relation to Composite Hypothesis Testing

Ofer Shayevitz|arXiv (Cornell University)|Dec 20, 2010

Distributed Sensor Networks and Detection Algorithms参考文献 11被引用数 13

ひとこと要約

本稿では、シャノン形式の対応物を用いて、Rényi情報測度の変分的特徴付けを提供し、それらの性質を統一的に導出可能にする。このフレームワークを二センサの合成仮説検定問題に適用し、Rényi発散度の順序 $\alpha = \frac{1}{1+\lambda}$ が最悪ケースの見逃し検出指数の最適値を特徴づけることを示し、ロバスト検出シナリオにおけるRényi発散度の新たな運用的解釈を提供する。

ABSTRACT

The Rényi information measures are characterized in terms of their Shannon counterparts, and properties of the former are recovered from first principle via the associated properties of the latter. Motivated by this characterization, a two-sensor composite hypothesis testing problem is presented, and the optimal worst case miss-detection exponent is obtained in terms of a Rényi divergence.

研究の動機と目的

• Rényi情報測度をそのシャノン形式の対応物を用いて変分的特徴付けること。
• 変分的定式化を介してRényi測度の性質を導出し、第一原理からの証明を簡略化すること。
• モデル不確実性下での二センサの合成仮説検定問題を提示し、分析すること。
• Rényi発散度の順序 $\alpha = \frac{1}{1+\lambda}$ が最適な最悪ケースの見逃し検出指数を特徴づけることを示すこと。
• 未知のノイズ分布下でのロバスト検出におけるRényi発散度の新たな運用的解釈を提供すること。

提案手法

• Rényi発散度が分布上の変分的最小化によって特徴付けられ、シャノン発散度と関連づけられる。
• Rényiエントロピーおよび相互情報量が、シャノン発散度の下界として表現され、それらの性質の公理的導出が可能になる。
• 二センサの合成仮説検定モデルを導入し、帰無仮説および対立仮説が分布族として定義される。
• ラグランジュ緩和法を用いて最適な最悪ケースの見逃し検出指数を導出し、Rényi発散度を含む最小化問題に帰着する。
• 指数表現を統一するために、一般化されたRényi発散度の順序 $\underline{\alpha} = (\alpha, \lambda\alpha)$ を導入する。
• パラメータ $\alpha \to 0^+$ における指数の収束を示すことで、境界の漸近的タイトネスを証明する。

実験結果

リサーチクエスチョン

• RQ1 Rényi情報測度を、変分的原理を用いてそのシャノン形式の対応物から体系的に導出することは可能か？
• RQ2 モデル不確実性を伴う合成仮説検定におけるRényi発散度の運用的意義は何か？
• RQ3 二センサ設定における最適な最悪ケースの見逃し検出指数をRényi発散度で表現できるか？
• RQ4 未知のノイズが存在する状況において、一般化されたRényi発散度の順序 $\underline{\alpha}$ と見逃し検出指数の関係は何か？
• RQ5 パrameter $\alpha$ がゼロに近づく際の導出された指数境界の極限的挙動は何か？

主な発見

• 最適な最悪ケースの見逃し検出指数は、$E_{\text{MD}}^* = (1+\lambda)^{-1} \lambda D_{\frac{1}{1+\lambda}}(\mathbf{P}_1 \| \mathbf{P}_2)$ で与えられ、ここで $D_\alpha$ は順序 $\alpha = \frac{1}{1+\lambda}$ のRényi発散度である。
• ノイズ族 $\mathbf{Q} = \mathscr{P}(\mathcal{X})$ の場合、指数は $\mathbf{Q}$ に依存せず、Rényi発散度がタイトな下界を提供する。
• 一般化されたRényi発散度 $D_{\underline{\alpha}}(\mathbf{P}_1, \mathbf{P}_2, \mathbf{Q})$ は、それぞれの族に属する分布における $D_{\underline{\alpha}}(P_1, P_2, Q)$ の下界として定義される。
• 指数境界 $E_{\text{MD}}^*(\alpha) = (1+\lambda)^{-1} \alpha^{-1} D_{(\alpha, \lambda\alpha)}(\mathbf{P}_1, \mathbf{P}_2, \mathbf{Q})$ は $\alpha$ に関して単調非増加である。
• $\alpha \to 0^+$ のとき、境界 $E_{\text{MD}}^*(\alpha)$ は真の最適指数 $E_{\text{MD}}^*$ に収束し、極限においてタイトネスが保証される。
• 本結果により、Rényi発散度が最悪ケースのノイズ下でのロバスト二センサ合成仮説検定における基本的限界としての新たな運用的解釈が与えられる。