[论文解读] An Exploration of Softmax Alternatives Belonging to the Spherical Loss Family

Alexandre de Brébisson, Pascal Vincent|arXiv (Cornell University)|Nov 16, 2015

Stock Market Forecasting Methods参考文献 14被引用 52

一句话总结

本文研究了球面损失族中的Softmax替代方法——具体为对数球面Softmax和一种新型的对数泰勒Softmax——表明这些替代方法在MNIST和CIFAR10等低维分类任务中优于标准对数Softmax，尽管在One Billion Word等高维语言建模基准上表现较差。该方法通过球面族的性质实现了高效的$O(d^2)$参数更新，为标准Softmax提供了一种可扩展的替代方案，在低输出维度设置下性能更优。

ABSTRACT

In a multi-class classification problem, it is standard to model the output of a neural network as a categorical distribution conditioned on the inputs. The output must therefore be positive and sum to one, which is traditionally enforced by a softmax. This probabilistic mapping allows to use the maximum likelihood principle, which leads to the well-known log-softmax loss. However the choice of the softmax function seems somehow arbitrary as there are many other possible normalizing functions. It is thus unclear why the log-softmax loss would perform better than other loss alternatives. In particular Vincent et al. (2015) recently introduced a class of loss functions, called the spherical family, for which there exists an efficient algorithm to compute the updates of the output weights irrespective of the output size. In this paper, we explore several loss functions from this family as possible alternatives to the traditional log-softmax. In particular, we focus our investigation on spherical bounds of the log-softmax loss and on two spherical log-likelihood losses, namely the log-Spherical Softmax suggested by Vincent et al. (2015) and the log-Taylor Softmax that we introduce. Although these alternatives do not yield as good results as the log-softmax loss on two language modeling tasks, they surprisingly outperform it in our experiments on MNIST and CIFAR-10, suggesting that they might be relevant in a broad range of applications.

研究动机与目标

• 评估球面损失族中的Softmax替代方法是否能在多分类任务中优于标准对数Softmax。
• 研究球面损失（包括对数球面Softmax和新提出的对数泰勒Softmax）在多种数据集上的实证性能。
• 理解为何对数Softmax在语言建模等高维设置中占优，而球面损失在低维任务中表现更优。
• 分析不同损失函数在训练效率、模型容量和泛化能力之间的权衡。

提出的方法

• 球面损失族仅依赖于目标类别激活$o_c$、总和$s = \sum o_i$和平方范数$q = \|\mathbf{o}\|^2$来定义，从而实现$O(d^2)$的参数更新，而非标准的$O(dD)$。
• 通过凸分析推导出对数Softmax损失的球面上界，提供保持相同最小值的替代代理损失。
• 提出对数泰勒Softmax，这是一种基于对数-求和-指数函数泰勒展开的球面损失，避免了温度超参数$\epsilon$的需要。
• 对数球面Softmax采用已有研究中的方法，其球面归一化依赖于$q$和$o_c$。
• 实验在MNIST、CIFAR10/100以及语言建模任务上比较了这些损失，使用固定架构以隔离损失函数的影响。
• 通过改变网络深度和非线性激活（如ReLU、指数函数、批归一化）来评估其对球面损失性能的影响。

实验结果

研究问题

• RQ1 基于球面损失的Softmax替代方法是否在低维分类任务中比标准对数Softmax具有更好的泛化能力？
• RQ2 为何尽管具有效率优势，对数Softmax在高维语言建模任务中仍优于球面损失？
• RQ3 球面Softmax与所提出的对数泰勒Softmax在超参数设置和数值稳定性方面有何比较？
• RQ4 通过架构改进（如更深网络或更强非线性）能否提升球面损失的性能？
• RQ5 指数非线性在Softmax中对大输出空间中判别性特征竞争的作用是什么？

主要发现

• 在MNIST和CIFAR10上，对数泰勒Softmax和对数球面Softmax优于对数Softmax，使用固定架构时测试误差更低、准确率更高。
• 在One Billion Word数据集上，对数Softmax的困惑度为19.2（两层隐藏层），而对数球面Softmax为28.4，对数泰勒Softmax为28.9，表明性能差距显著。
• 对数Softmax的SimLex-999得分随深度提升（两层时为0.318），而球面损失仅略有提升（0.262–0.265），表明其在语义相似性建模方面容量有限。
• 对数泰勒Softmax在准确率和稳定性方面均优于对数球面Softmax，因其无需温度超参数$\epsilon$，且表现出微小的不对称性，可能有助于学习。
• 尽管通过加深网络、用指数函数替代ReLU以及引入批归一化等架构改进，球面损失在高维任务中仍未能超越对数Softmax。
• 性能上的定性转变——即球面损失在低维中优于对数Softmax，但在高维中表现更差——仍未得到解释，暗示其归纳偏置存在根本性差异。