[論文レビュー] Error Exponents of Mismatched Likelihood Ratio Testing

Parham Boroumand, Albert Guillén i Fàbregas|arXiv (Cornell University)|Jan 12, 2020

Distributed Sensor Networks and Detection Algorithms参考文献 13被引用数 2

ひとこと要約

この論文は、真の生成分布 P1 および P2 の代わりに誤った分布 ˆP1 および ˆP2 を使用する不一致尤度比検定における誤差指数の分析を行う。不一致下での第一種および第二種誤差指数の正確な表現を導出し、その強凸性および連続性を確立するとともに、相対エントロピー球内での最悪性能に対する一次近似を提供。誤差指数の感度は、不一致分布の発散度が高くなるにつれて増加することを示している。

ABSTRACT

We study the problem of mismatched likelihood ratio test. We analyze the type-\RNum{1} and \RNum{2} error exponents when the actual distributions generating the observation are different from the distributions used in the test. We derive the worst-case error exponents when the actual distributions generating the data are within a relative entropy ball of the test distributions. In addition, we study the sensitivity of the test for small relative entropy balls.

研究の動機と目的

• 尤度比検定が真の生成分布 P1 および P2 の代わりに不一致分布 ˆP1 および ˆP2 を使用する場合の誤差指数のトレードオフを同定すること。
• 真の分布 P1 および P2 がテスト分布 ˆP1 および ˆP2 の周囲の相対エントロピー球内にある場合の最悪誤差指数を導出すること。
• 真の分布がテスト分布からわずかにずれた場合の誤差指数の感度を、特に Stein 系列において分析すること。
• テイラー展開およびフィッシャー情報行列を用いて、最悪誤差指数の解析的近似を提供すること。
• 分布的不一致に関して誤差指数関数の強凸性および連続性の性質を確立すること。

提案手法

• 尤度比制約を満たす分布の最小化を用いて、不一致検定下での第一種および第二種誤差指数の正確な表現を導出。
• 傾き付き分布 Qλ を用いて、対数モーメント母関数を介して誤差指数を双対形式で表現。
• サンフの定理および相対エントロピー最小化を用いて、最適誤差指数トレードオフを特徴付ける。
• テイラー展開およびフィッシャー情報行列を用いて、相対エントロピー球内での最悪誤差指数を近似。
• エンvelope定理およびKKT条件を用いて、感度バウンドおよび誤差指数劣化の一次近似を導出。
• 閾値パrameterに関して誤差指数関数の強凸性を証明し、尤度比統計量の分散を分析。

実験結果

リサーチクエスチョン

• RQ1 尤度比検定が不一致分布 ˆP1 および ˆP2 を使用する場合の第一種および第二種誤差指数の正確な表現は何か？
• RQ2 真の分布 P1 および P2 がテスト分布 ˆP1 および ˆP2 からの相対エントロピー球内にずれる場合、誤差指数はどのように劣化するか？
• RQ3 誤差指数の感度は真の分布のわずかな摂動に対してどのように変化し、不一致度に依存するか？
• RQ4 小さな相対エントロピーのずれに対して、最悪誤差指数を閉形式でどのように近似できるか？
• RQ5 分布的不一致の文脈において、誤差指数とフィッシャー情報行列の関係は何か？

主な発見

• 不一致検定下での最適誤差指数トレードオフは、不一致尤度比閾値を満たす集合上で P1 および P2 への相対エントロピーを最小化することによって与えられる。
• 誤差指数 ˆE1 および ˆE2 は真の分布 P1 および P2 の連続関数であり、それぞれの微分は −ˆQλ(x)/P1(x) および −ˆQλ(x)/P2(x) に等しい。
• 第一種誤差の最悪誤差指数 ˆEL1(R1) は、˜EL1(R1) ≈ min_{1/2 θ^T J( ˆP1)θ ≤ R1, 1^T θ = 0} E1(ˆφˆγ) + θ^T ∇ˆE1 で近似可能であり、ここで θ = P1 - ˆP1 である。
• 最悪誤差指数を最小化する最適摂動ベクトル θP1 は、誤差指数の勾配に重み付けされた逆フィッシャー情報行列に比例する。
• 尤度比統計量 ˆQλ(X)/ˆP1(X) の分散は λ とともに増加するため、誤差指数の感度は不一致閾値 γ が高くなるにつれて増加する。
• 誤差指数の閾値 ˆγ に関する微分は最適化される λ に等しく、この λ は ˆγ に関して非減少であるため、誤差指数関数の強凸性が裏付けられる。