[论文解读] Error Exponents of Mismatched Likelihood Ratio Testing

Parham Boroumand, Albert Guillén i Fàbregas|arXiv (Cornell University)|Jan 12, 2020

Distributed Sensor Networks and Detection Algorithms参考文献 13被引用 2

一句话总结

本文分析了在似然比检验中使用错误分布 ˆP1 和 ˆP2 而非真实生成分布 P1 和 P2 时的错误指数。推导了在失配情况下的第一类和第二类错误指数的精确表达式，建立了其严格凸性和连续性，并在相对熵球内提供了最坏情况性能的首阶近似，表明错误指数对失配分布偏离的敏感性随失配分布间散度的增加而增强。

ABSTRACT

We study the problem of mismatched likelihood ratio test. We analyze the type-\RNum{1} and \RNum{2} error exponents when the actual distributions generating the observation are different from the distributions used in the test. We derive the worst-case error exponents when the actual distributions generating the data are within a relative entropy ball of the test distributions. In addition, we study the sensitivity of the test for small relative entropy balls.

研究动机与目标

• 表征当似然比检验使用失配分布 ˆP1 和 ˆP2 而非真实生成分布 P1 和 P2 时的错误指数权衡。
• 推导当真实分布 P1 和 P2 位于测试分布 ˆP1 和 ˆP2 的相对熵球内时的最坏情况错误指数。
• 研究错误指数对真实分布与测试分布之间微小偏差的敏感性，特别是在 Stein 情形下。
• 利用泰勒展开和费雪信息矩阵，提供最坏情况错误指数的解析近似。
• 建立错误指数函数关于分布失配的严格凸性和连续性性质。

提出的方法

• 通过在满足似然比约束的分布集合上进行最小化，推导了在失配测试下第一类和第二类错误指数的精确表达式。
• 使用倾斜分布 Qλ，通过对数矩生成函数以对偶形式表达错误指数。
• 应用 Sanov 定理和相对熵最小化，表征最优错误指数权衡。
• 采用泰勒展开和费雪信息矩阵，近似相对熵球内的最坏情况错误指数。
• 利用包络定理和 KKT 条件，推导敏感性边界和错误指数退化的一阶近似。
• 证明错误指数函数关于阈值参数的严格凸性，并分析似然比统计量的方差。

实验结果

研究问题

• RQ1 当似然比检验使用失配分布 ˆP1 和 ˆP2 时，第一类和第二类错误指数的精确表达式是什么？
• RQ2 当真实分布 P1 和 P2 在相对熵球内偏离测试分布 ˆP1 和 ˆP2 时，错误指数如何退化？
• RQ3 错误指数对真实分布的微小扰动的敏感性如何？其随失配程度的变化规律是什么？
• RQ4 对于小的相对熵偏离，最坏情况错误指数能否以闭式表达进行近似？
• RQ5 在分布失配背景下，错误指数与费雪信息矩阵之间存在何种关系？

主要发现

• 在失配测试下，最优错误指数权衡由在由失配似然比阈值定义的集合上对 P1 和 P2 的相对熵最小化给出。
• 错误指数 ˆE1 和 ˆE2 是真实分布 P1 和 P2 的连续函数，其导数分别为 −ˆQλ(x)/P1(x) 和 −ˆQλ(x)/P2(x)。
• 第一类错误的最坏情况错误指数 ˆEL1(R1) 近似为 ˜EL1(R1) ≈ min_{1/2 θ^T J( ˆP1)θ ≤ R1, 1^T θ = 0} E1(ˆφˆγ) + θ^T ∇ˆE1，其中 θ = P1 - ˆP1。
• 使最坏情况错误指数最小化的最优扰动向量 θP1 与费雪信息矩阵的逆加权错误指数梯度成正比。
• 似然比统计量 ˆQλ(X)/ˆP1(X) 的方差随 λ 增大而增加，意味着错误指数对失配阈值 γ 的敏感性随之增强。
• 错误指数关于阈值 ˆγ 的导数等于最优 λ，且该 λ 随 ˆγ 非减，从而确认了错误指数函数的严格凸性。