[论文解读] Discriminative Features via Generalized Eigenvectors

Nikos Karampatziakis, Paul Mineiro|arXiv (Cornell University)|Oct 7, 2013

Machine Learning and Data Classification参考文献 20被引用 11

一句话总结

该论文提出了一种可扩展的方法，通过从类条件二阶统计量中提取广义特征向量，实现多分类任务中判别性特征的学习。通过在类内协方差矩阵上求解广义特征值问题，该方法生成了具有不变性、鲁棒性且高度判别性的特征，在多个任务上实现了最先进性能，尤其在与线性分类器结合时表现突出。

ABSTRACT

Representing examples in a way that is compatible with the underlying classifier can greatly enhance the performance of a learning system. In this paper we investigate scalable techniques for inducing discriminative features by taking advantage of simple second order structure in the data. We focus on multiclass classification and show that features extracted from the generalized eigenvectors of the class conditional second moments lead to classifiers with excellent empirical performance. Moreover, these features have attractive theoretical properties, such as inducing representations that are invariant to linear transformations of the input. We evaluate classifiers built from these features on three different tasks, obtaining state of the art results.

研究动机与目标

• 开发一种可扩展、计算高效的多分类判别性特征学习方法。
• 利用二阶统计结构（类条件二阶矩）提升分类器性能，超越一阶方法。
• 确保输入特征的线性变换下不变性，以增强鲁棒性和泛化能力。
• 通过将问题分解为可处理的广义特征值子问题，实现分布式和大规模学习。
• 在真实世界的多分类任务中，证明该方法在性能上优于原始特征和现有特征学习技术。

提出的方法

• 该方法为每个类别 $ i $ 计算类条件二阶矩矩阵 $ C_i = \mathbb{E}[xx^\top | y=i] $。
• 通过构建广义特征值问题 $ C_i v = \lambda C_j v $，寻找使比值 $ \frac{v^\top C_i v}{v^\top C_j v} $ 最大的方向 $ v $，从而突出类别 $ i $ 和 $ j $ 之间的判别性方向。
• 每个广义特征向量 $ v $ 被归一化，使得 $ v^\top C_j v = 1 $，从而确保类别 $ i $ 的投影 $ v^\top x $ 的期望平方值为 $ \lambda $，而类别 $ j $ 的期望平方值为 1。
• 所得特征 $ v^\top x $ 对输入 $ x $ 的可逆线性变换保持不变，这是其关键的理论优势。
• 该方法采用成对策略处理所有类别对，每对类别提取多个特征向量，以构建丰富且具有判别性的特征表示。
• 最终分类器基于提取的特征，使用标准线性模型（如多类SVM或多项式逻辑回归）进行训练。

实验结果

研究问题

• RQ1 类条件二阶矩矩阵的广义特征向量能否为多分类任务生成高度判别性的特征？
• RQ2 所得到的特征表示是否在输入数据的线性变换下保持不变？
• RQ3 基于这些特征的分类器性能与使用原始特征或其他特征学习方法的分类器相比如何？
• RQ4 该方法能否高效扩展至大规模数据集和分布式计算环境？
• RQ5 有限样本估计和正则化对提取特征的稳定性和准确性有何影响？

主要发现

• 所提出的方法在三个不同的多分类任务中实现了最先进性能，优于使用原始特征的基线方法。
• 特征提取过程对输入的可逆线性变换保持不变，确保了对输入缩放和线性失真的鲁棒性。
• 该方法计算高效，且适用于分布式环境，因为广义特征值问题可独立求解，并通过Map-Reduce进行聚合。
• 即使在有限样本条件下，该方法依然保持鲁棒性，尤其当真实类条件二阶矩矩阵的有效秩较低时。
• 使用广义特征向量可实现简洁的表示，简化下游分类器的训练过程并提升泛化能力。
• 该方法在多样化数据集上表现出强劲的实证性能，表明其在真实世界机器学习系统中具有广泛适用性。