[论文解读] Learning convolutional neural network to maximize Pos@Top performance measure

Yanyan Geng, Ru‐Ze Liang+5 more|arXiv (Cornell University)|Sep 27, 2016

Face and Expression Recognition参考文献 29被引用 41

一句话总结

本文提出了一种新型卷积神经网络（CNN）框架，直接优化排名导向机器学习中的关键指标Pos@Top。通过构建一种铰链损失函数，最大化正样本与排名最高的负样本之间的间隔，并结合拉格朗日乘子与梯度下降的交替优化方法，该方法在图像、文本和音频基准测试中均实现了最先进的Pos@Top性能，优于标准CNN以及先前针对Pos@Top优化的线性模型。

ABSTRACT

In the machine learning problems, the performance measure is used to evaluate the machine learning models. Recently, the number positive data points ranked at the top positions (Pos@Top) has been a popular performance measure in the machine learning community. In this paper, we propose to learn a convolutional neural network (CNN) model to maximize the Pos@Top performance measure. The CNN model is used to represent the multi-instance data point, and a classifier function is used to predict the label from the its CNN representation. We propose to minimize the loss function of Pos@Top over a training set to learn the filters of CNN and the classifier parameter. The classifier parameter vector is solved by the Lagrange multiplier method, and the filters are updated by the gradient descent method alternately in an iterative algorithm. Experiments over benchmark data sets show that the proposed method outperforms the state-of-the-art Pos@Top maximization methods.

研究动机与目标

• 为解决现有Pos@Top优化方法的局限性，即依赖线性模型且在复杂多实例数据上表现不佳。
• 开发一种深度学习框架，直接优化Pos@Top度量，该度量用于评估有多少正样本排在首个负样本之前。
• 实现CNN滤波器与分类器权重的端到端学习，以最大化Pos@Top，同时通过ℓ₂正则化防止过拟合。
• 证明基于CNN的方法在性能上显著优于标准CNN以及先前针对Pos@Top优化的线性模型。

提出的方法

• 构建一种铰链损失函数，当任意正样本得分低于排名最高的负样本时施加惩罚，且间隔为1。
• 定义目标函数，结合铰链损失、分类器权重u和CNN滤波器W的ℓ₂正则化，以及用于间隔违反的松弛变量ξi。
• 通过交替最小化求解优化问题：使用对偶形式和拉格朗日乘子更新分类器权重u，同时通过梯度下降更新CNN滤波器W。
• 对CNN特征图使用最大池化操作，为每个多实例数据点Xi生成固定大小的表示g(Xi)。
• 应用优化问题的对偶形式以解耦滤波器学习，实现每个滤波器w_k独立使用梯度下降进行更新。
• 采用一对多策略进行多分类，并在不同数据类型上使用10折交叉验证进行模型评估。

实验结果

研究问题

• RQ1 是否能够有效训练深层CNN架构，以直接最大化Pos@Top性能度量，该度量不可微且非线性？
• RQ2 在多实例数据上，基于CNN的模型与针对Pos@Top优化的线性模型相比，其排名性能如何？
• RQ3 在Pos@Top优化中，对分类器和CNN滤波器同时施加ℓ₂正则化是否能提升泛化能力并防止过拟合？
• RQ4 所提出的交替优化算法是否能有效学习CNN滤波器与分类器权重，同时最大化Pos@Top指标？

主要发现

• 所提出的基于CNN的Pos@Top最大化方法在三个基准数据集上均优于使用交叉熵损失训练的标准CNN：Caltech-256（图像）、Semeval-2010（文本）和SAD（音频）。
• 该方法在平均Pos@Top得分上优于现有最先进的Pos@Top优化方法，包括TopPush、AATP和InfinitePush，这些方法均为线性模型。
• 使用具有可学习滤波器的CNN能够更好地学习多实例数据的表示，从而提升正样本在首个负样本之前的排序表现。
• 通过对偶形式与梯度下降结合的交替优化算法表现有效，不同模态数据上的性能持续提升可证明其有效性。
• 在分类器权重和CNN滤波器上同时引入ℓ₂正则化，显著提升了泛化能力，并有效防止了训练数据上的过拟合。