[论文解读] Compressive Classification of a Mixture of Gaussians: Analysis, Designs and Geometrical Interpretation

Hugo Reboredo, Francesco Renna+2 more|arXiv (Cornell University)|Jan 27, 2014

Sparse and Compressive Sensing Techniques参考文献 35被引用 14

一句话总结

本文通过基于Bhattacharya距离的误分类概率上界，分析了高斯混合模型的压缩分类，引入了多样性阶数（diversity-order）和测量增益（measurement gain）的概念——这两者分别是通信系统中分集增益（diversity gain）与编码增益（coding gain）的对偶概念。研究结果表明，通过最大化这些增益，优化的测量设计在低噪声环境下显著优于随机投影，且对两类与多类问题均推导出了精确的性能极限。

ABSTRACT

This paper derives fundamental limits on the performance of compressive classification when the source is a mixture of Gaussians. It provides an asymptotic analysis of a Bhattacharya based upper bound on the misclassification probability for the optimal Maximum-A-Posteriori (MAP) classifier that depends on quantities that are dual to the concepts of diversity-order and coding gain in multi-antenna communications. The diversity-order of the measurement system determines the rate at which the probability of misclassification decays with signal-to-noise ratio (SNR) in the low-noise regime. The counterpart of coding gain is the measurement gain which determines the power offset of the probability of misclassification in the low-noise regime. These two quantities make it possible to quantify differences in misclassification probability between random measurement and (diversity-order) optimized measurement. Results are presented for two-class classification problems first with zero-mean Gaussians then with nonzero-mean Gaussians, and finally for multiple-class Gaussian classification problems. The behavior of misclassification probability is revealed to be intimately related to certain fundamental geometric quantities determined by the measurement system, the source and their interplay. Numerical results, representative of compressive classification of a mixture of Gaussians, demonstrate alignment of the actual misclassification probability with the Bhattacharya based upper bound. The connection between the misclassification performance and the alignment between source and measurement geometry may be used to guide the design of dictionaries for compressive classification.

研究动机与目标

• 建立当源信号为高斯混合模型时，压缩分类的基本性能极限。
• 利用基于Bhattacharya距离的上界，分析在压缩测量下最优MAP分类器的误分类概率。
• 识别并量化多样性阶数与测量增益在决定分类性能中的作用。
• 从误分类性能角度，比较随机测量设计与优化测量系统的表现。
• 提供关于测量系统设计如何影响低噪声环境下分类准确率的几何与解析洞察。

提出的方法

• 利用高斯混合模型的Bhattacharya距离，推导误分类概率的渐近上界。
• 引入两个关键性能度量：多样性阶数（信噪比（SNR）下衰减速率）与测量增益（低信噪比下的功率偏移）。
• 运用随机矩阵理论与特征值分析，刻画测量矩阵与源协方差、均值差之间的关系。
• 采用线性规划松弛与分支定界技术，求解能最大化多样性阶数的最优测量设计。
• 通过从源相关子空间中选取行向量来构造测量矩阵，以实现理论性能极限。
• 分析在何种条件下可实现无穷大多样性阶数，特别是当均值差向量位于协方差和矩阵的像空间之外时。

实验结果

研究问题

• RQ1 对于高斯混合模型，在压缩测量下最优MAP分类器的误分类概率如何变化？
• RQ2 压缩分类的基本性能极限是什么？它们如何依赖于测量系统与源信号几何结构？
• RQ3 多样性阶数与测量增益——作为MIMO系统中编码概念的对偶——如何表征压缩分类的性能？
• RQ4 优化的测量设计是否能在误分类概率方面优于随机投影？在何种条件下可以实现？
• RQ5 在何种几何条件下，可实现高斯混合模型压缩分类中的无穷大多样性阶数？

主要发现

• 误分类概率随信噪比（SNR）呈指数衰减，其中多样性阶数决定衰减速率，测量增益决定功率偏移。
• 优化的测量设计可实现最大多样性阶数 $ \frac{1}{4}M $，其中 $ M $ 为测量数，显著优于随机投影。
• 对于零均值高斯分布，最优测量设计满足 $ r_1 + r_2 = r_{12} = M $，其中 $ r_1, r_2 $ 分别为投影协方差矩阵的秩。
• 当均值差向量 $ \boldsymbol{\mu}_1 - \boldsymbol{\mu}_2 $ 不在 $ \mathbf{\Sigma}_1 + \mathbf{\Sigma}_2 $ 的像空间中时，通过将测量核对准 $ \mathbf{\Sigma}_1 + \mathbf{\Sigma}_2 $ 的零空间，可实现无穷大多样性阶数。
• 误分类概率的上界与实验结果高度吻合，验证了理论分析在各种信噪比下的有效性。
• 源信号（均值与协方差）与测量系统之间的几何对齐至关重要——最优设计通过最大化这种对齐来最小化误分类概率。