[论文解读] Deep Gamblers: Learning to Abstain with Portfolio Theory

Liu Ziyin, Zhikang Wang+4 more|arXiv (Cornell University)|Jun 29, 2019

Financial Markets and Investment Strategies参考文献 61被引用 33

一句话总结

本文将选择性分类重新框定为一个赌博问题，使用投资组合理论端到端学习放弃（拒绝），在 SVHN、CIFAR-10 和 Cat-vs-Dog 上通过拒绝机制取得具有竞争力的结果。

ABSTRACT

We deal with the extit{selective classification} problem (supervised-learning problem with a rejection option), where we want to achieve the best performance at a certain level of coverage of the data. We transform the original $m$-class classification problem to $(m+1)$-class where the $(m+1)$-th class represents the model abstaining from making a prediction due to disconfidence. Inspired by portfolio theory, we propose a loss function for the selective classification problem based on the doubling rate of gambling. Minimizing this loss function corresponds naturally to maximizing the return of a extit{horse race}, where a player aims to balance between betting on an outcome (making a prediction) when confident and reserving one's winnings (abstaining) when not confident. This loss function allows us to train neural networks and characterize the disconfidence of prediction in an end-to-end fashion. In comparison with previous methods, our method requires almost no modification to the model inference algorithm or model architecture. Experiments show that our method can identify uncertainty in data points, and achieves strong results on SVHN and CIFAR10 at various coverages of the data.

研究动机与目标

• 用拒绝选项解决选择性分类问题，以在准确率和数据覆盖率之间取得平衡。
• 通过增加放弃选项将 m 类分类转换为 m+1 类。
• 引入基于投资组合理论倍增速率的损失，当不确定时鼓励放弃。
• 在对标准架构和推理进行最小修改的前提下实现端到端训练。
• 提供将分类与赌博联系起来的理论洞见，并量化放弃策略的条件。

提出的方法

• 将分类重新表述为带有放弃（m+1）类别的赛马比赛。
• 为小批量定义一个基于倍增率 W(b,p) = sum_i p_i log2(b_i o_i + b_{m+1}) 的损失，其中 o 作为收益参数。
• 将第 (m+1) 个类别解释为放弃决策，通过对 g(x) = f_w(x)_{m+1} 施加阈值 h 实现可调覆盖率。
• 通过显示在放弃约束下最大化倍增率等价于最大化预测似然，从而将投资组合理论与学习联系起来。
• 提供理论结果（定理1-3）以证明赌博公式的合理性以及收益参数 o 对最优策略的影响。
• 用合成数据和真实数据实验来展示该方法，并与信息熵、贝叶斯 dropout 以及 SelectiveNet 进行比较。

实验结果

研究问题

• RQ1 是否可以通过与投资组合理论相连的赌博式损失来学习放弃？
• RQ2 放弃收益参数 o 应如何影响最优下注（预测）策略和放弃行为？
• RQ3 在不进行采样或架构修改的情况下，端到端训练是否可行？
• RQ4 在不同数据集和覆盖率水平上，所提出的方法相对于当前最先进的选择性分类方法的表现如何？

主要发现

• 该方法在 SVHN 的不同覆盖率下通常具有竞争力，甚至在每个覆盖率下都达到最优之一。
• 在 CIFAR-10 和 Cat-vs-Dog 数据集上取得强劲结果，特别是在覆盖率范围 0.8–1.0。
• 该方法能有效识别不确定性，在识别困难或分布外样本方面超越基于熵的基线。
• 该损失可端到端训练，无需针对不同覆盖率进行采样或重新训练，也不需要架构修改。
• t-SNE 分析表明，在深度赌徒损失下学习到的表示具有更好的类别分离，显示出一个定性上不同的学习特征空间。