[论文解读] A Minimax Approach to Supervised Learning

Farzan Farnia, David Tse|arXiv (Cornell University)|Jun 7, 2016

Machine Learning and Algorithms参考文献 32被引用 38

一句话总结

本文提出了一种最小最大方法用于监督学习，该方法在以经验数据分布为中心的分布集合上最小化最坏情况下的期望损失，从而推广了最大熵原则。对于0-1损失，推导出一种新型线性分类器——最大熵机（MEM），其在多个UCI数据集和高维合成数据上优于SVM及其他分类器。

ABSTRACT

Given a task of predicting $Y$ from $X$, a loss function $L$, and a set of probability distributions $Γ$ on $(X,Y)$, what is the optimal decision rule minimizing the worst-case expected loss over $Γ$? In this paper, we address this question by introducing a generalization of the principle of maximum entropy. Applying this principle to sets of distributions with marginal on $X$ constrained to be the empirical marginal from the data, we develop a general minimax approach for supervised learning problems. While for some loss functions such as squared-error and log loss, the minimax approach rederives well-knwon regression models, for the 0-1 loss it results in a new linear classifier which we call the maximum entropy machine. The maximum entropy machine minimizes the worst-case 0-1 loss over the structured set of distribution, and by our numerical experiments can outperform other well-known linear classifiers such as SVM. We also prove a bound on the generalization worst-case error in the minimax approach.

研究动机与目标

• 解决在真实数据分布无法因样本不足而估计的高维设置下的监督学习问题。
• 开发一种鲁棒的学习框架，最小化以经验分布为中心的分布集合上的最坏情况期望损失。
• 将最大熵原则推广至任意损失函数（包括0-1损失），用于条件预测。
• 在0-1损失下推导出一种新型线性分类器——称为最大熵机（MEM）的分类器，用于二分类。
• 在最小最大框架下建立最坏情况误差的泛化界。

提出的方法

• 将最小最大学习问题表述为在以经验分布P̂为中心的分布集合Γ上最小化最坏情况下的期望损失。
• 应用对偶性和最小最大定理，将最小最大问题转化为涉及广义熵和矩约束的可处理优化问题。
• 对于0-1损失，推导出最大熵机（MEM）作为在结构化分布集合下最小化最坏情况0-1损失的最优决策规则。
• 通过在对偶变量上使用ℓ₂正则化进行梯度下降求解，利用ℓ₁正则化促进特征选择中的稀疏性。
• 利用对偶性将最小最大问题与互信息最大化联系起来，通过ℓ₁-正则化优化实现稀疏特征选择。
• 使用交叉验证调优正则化参数λ，并通过多次训练-测试划分的蒙特卡洛平均评估性能。

实验结果

研究问题

• RQ1 能否在真实分布未知的情况下，开发一种最小最大框架以最小化监督学习中的最坏情况期望损失？
• RQ2 如何将最大熵原则推广至对数损失以外的任意损失函数？
• RQ3 在最坏情况分布不确定性下，0-1损失的最优分类器是什么？
• RQ4 最小最大方法能否在高维设置中产生一种鲁棒、稀疏且高性能的线性分类器？
• RQ5 在此框架下，最坏情况最小最大风险的泛化误差界可以建立为何种形式？

主要发现

• 最大熵机（MEM）在六组UCI二分类数据集中的四组上优于SVM，且在其中三组上达到最低错误率。
• 在合成高维数据集（n=200, d=10,000）上，MEM实现20.0%的错误率，略优于SVM（20.6%）和DRC（20.4%）。
• 在最小最大框架中采用ℓ₁-正则化逻辑回归公式，可最大化最坏情况下的互信息，为启发式特征选择方法提供有原则的替代方案。
• 最小最大方法在适当的损失函数下可恢复已知模型，如最小二乘回归和套索（lasso），验证了其通用性。
• 定理3建立的泛化界确保了即使在分布不确定性下，所学规则的最坏情况误差仍保持受控。
• 对偶公式中的ℓ₁正则化在特征选择矩阵中诱导出稀疏性，从而在高维约束下实现有效的变量选择。