[论文解读] Achievable Rates for Pattern Recognition

M. Brandon Westover, Joseph A. O’Sullivan|ArXiv.org|Sep 8, 2005

Neural Networks and Applications参考文献 25被引用 6

一句话总结

本文提出了一种通用的信息论框架，用于表征在模式识别中资源约束（内存和感官数据速率）与环境复杂性之间的基本权衡。推导出可靠分类可实现速率的单字母界，表明最优性能由压缩表示与模式之间的互信息决定，并为二元和高斯情形给出了显式解。

ABSTRACT

Biological and machine pattern recognition systems face a common challenge: Given sensory data about an unknown object, classify the object by comparing the sensory data with a library of internal representations stored in memory. In many cases of interest, the number of patterns to be discriminated and the richness of the raw data force recognition systems to internally represent memory and sensory information in a compressed format. However, these representations must preserve enough information to accommodate the variability and complexity of the environment, or else recognition will be unreliable. Thus, there is an intrinsic tradeoff between the amount of resources devoted to data representation and the complexity of the environment in which a recognition system may reliably operate. In this paper we describe a general mathematical model for pattern recognition systems subject to resource constraints, and show how the aforementioned resource-complexity tradeoff can be characterized in terms of three rates related to number of bits available for representing memory and sensory data, and the number of patterns populating a given statistical environment. We prove single-letter information theoretic bounds governing the achievable rates, and illustrate the theory by analyzing the elementary cases where the pattern data is either binary or Gaussian.

研究动机与目标

• 将数据压缩资源与可靠模式识别可能的环境复杂性之间的内在权衡形式化。
• 将模式识别建模为在概率约束下，从压缩的感官和记忆数据中进行推理的问题。
• 以可实现分类性能为基准，定义并分析三个关键速率：内存速率 $ R_m $、感官数据速率 $ R_y $ 和模式区分速率 $ R_c $。
• 推导出刻画在这些约束下可靠模式识别基本极限的单字母信息论界。
• 通过二元和高斯模式识别模型的显式解说明该理论。

提出的方法

• 形式化一个具有训练和测试阶段的概率模式识别模型，其中模式从某一分布中抽取，并在观测过程中受到噪声污染。
• 引入三个关键速率：$ R_m $（内存速率）、$ R_y $（感官数据速率）和 $ R_c $（模式区分速率），分别表示每符号的内存、观测和模式集合大小的比特数。
• 应用信息论工具，包括互信息 $ I(U;W) $、$ I(Y;U) $ 和 $ I(Y;W) $，利用马尔可夫链和条件独立性来界定可实现速率区域。
• 通过单字母表达式推导可实现速率区域的内界和外界界，特别利用数据处理不等式和马尔可夫结构。
• 通过利用离散和连续高斯变量的已知互信息公式，求解二元和高斯情形。
• 使用凸包分析和切平面几何方法表征可实现速率区域的边界，表明最优点位于由互信息定义的曲面的凸包上。

实验结果

研究问题

• RQ1 用于模式识别的内存和感官数据量与系统可可靠区分的不同模式数量之间的基本权衡是什么？
• RQ2 如何利用信息论原理表征内存、感官数据和模式区分的可实现速率？
• RQ3 在资源约束下，可靠模式识别可实现速率区域的单字母界是什么？
• RQ4 在二元和高斯模式识别模型中，可实现速率有何不同，是否存在闭式解？
• RQ5 可实现速率区域的边界能否通过凸包和切平面进行几何表征？

主要发现

• 本文确立了可实现速率集合位于由压缩表示与模式之间互信息决定的单字母信息论表达式的边界区域内。
• 在二元情形下，可实现速率区域由二元随机变量之间的互信息表征，利用数据处理不等式推导出显式边界。
• 在高斯情形下，可实现速率由联合高斯向量之间的互信息决定，利用相关系数得出闭式解。
• 可实现速率区域的边界被证明是互信息定义的曲面的凸包，最优点位于该凸包上或连接曲面上点与原点的线段上。
• 分析表明，最优速率区域受马尔可夫链 $ U - Y - W $ 的约束，其中 $ U $ 是压缩的记忆表示，$ Y $ 是噪声观测，$ W $ 是模式标签。
• 对于高斯模型，互信息 $ I(X;Y) $ 仅依赖于相关系数 $ \rho_{x,y} $，且 $ I(X;Y) = \frac{1}{2}\log(1 + \frac{P}{N}) $，该结果直接用于速率边界推导。