[论文解读] Hyperspherical Prototype Networks

Pascal Mettes, Elise van der Pol+1 more|arXiv (Cornell University)|Jan 29, 2019

Modular Robots and Swarm Intelligence参考文献 46被引用 50

一句话总结

该论文定义固定的超球面类别原型，并使用余弦相似度将输入映射到分类和回归，从而在可伸缩的输出空间中实现多任务学习，而无需更新原型。

ABSTRACT

This paper introduces hyperspherical prototype networks, which unify classification and regression with prototypes on hyperspherical output spaces. For classification, a common approach is to define prototypes as the mean output vector over training examples per class. Here, we propose to use hyperspheres as output spaces, with class prototypes defined a priori with large margin separation. We position prototypes through data-independent optimization, with an extension to incorporate priors from class semantics. By doing so, we do not require any prototype updating, we can handle any training size, and the output dimensionality is no longer constrained to the number of classes. Furthermore, we generalize to regression, by optimizing outputs as an interpolation between two prototypes on the hypersphere. Since both tasks are now defined by the same loss function, they can be jointly trained for multi-task problems. Experimentally, we show the benefit of hyperspherical prototype networks for classification, regression, and their combination over other prototype methods, softmax cross-entropy, and mean squared error approaches.

研究动机与目标

• 引入一类具有超球面输出空间和固定原型的网络。
• 在原型放置中实现大边缘间隔和语义先验。
• 在一个共同的余弦相似度损失下统一分类和回归。
• 允许输出维度灵活超过类别数量。
• 展示在分类、回归和多任务设置中的收益。

提出的方法

• 在训练之前将 K 个类别原型放置在 D 维单位超球面上，以强化大边缘分离。
• 通过最小化输出与真实类别原型之间的 (1 - cos theta)^2 来训练，使用网络 f_phi(x)。
• 通过数据无关的优化来定位原型，提供通过基于排名的损失在类别三元组上的语义先验选项。
• 通过保持两个对立原型作为上界和下界并通过余弦相似度进行插值来扩展到回归。
• 通过使用相同的平方余弦损失且不进行任务权重来实现联合分类和回归。
• 提供一个机制，使用可微分目标来优化原型放置，在超球面上强制实现较大分离。

实验结果

研究问题

• RQ1 在输出维度可变的情况下，固定的超球面原型能否在标准数据集上提供具有竞争力的准确性？
• RQ2 在输出空间较小或分布不均时，将语义先验引入原型放置是否能提升分类？
• RQ3 在更高维的超球面输出空间中，是否可以通过基于余弦的边界插值有效进行回归？
• RQ4 是否可以在同一输出空间中进行联合分类和回归且无需调整任务权重？
• RQ5 超球面原型与传统基于原型的方法和 softmax 在收敛性和鲁棒性方面有何比较？

主要发现

• 超球面原型在多个输出维度上对 CIFAR-100 和 ImageNet-200 取得高精度，优于 one-hot 和 Word2vec 原型基线。
• 原型在超球面上的分离始终高于基线，指示更好的类别分离。
• 融入特权语义信息可提升分类，特别是在较小的输出维度时。
• 该方法在 OmniArt 上实现了鲁棒的回归结果，相较于基线 MSE 方法对学习率选择的鲁棒性更高。
• 在旋转后的 MNIST 上进行的联合回归和分类展示了同一空间对两种任务的建模能力。
• 与 softmax 交叉熵相比，当每个类别的训练数据稀缺或不均匀时，超球面原型表现更佳。