[论文解读] Fix Your Features: Stationary and Maximally Discriminative Embeddings using Regular Polytope (Fixed Classifier) Networks

Federico Pernici, Matteo Bruni+2 more|arXiv (Cornell University)|Feb 27, 2019

Handwritten Text Recognition Techniques参考文献 28被引用 8

一句话总结

本文提出正多胞形网络（RePoNet），一种将分类器权重固定为嵌入空间中正多胞形（d-单形、d-立方体、d-正轴体）顶点的方法，以强制实现稳定且最大可分的特征。通过利用高度对称性，该方法在训练过程中确保特征与固定权重的夹角对齐，从而在实现与可训练分类器相当或更优的准确率的同时，实现可预测且稳定的特征学习。

ABSTRACT

Neural networks are widely used as a model for classification in a large variety of tasks. Typically, a learnable transformation (i.e. the classifier) is placed at the end of such models returning a value for each class used for classification. This transformation plays an important role in determining how the generated features change during the learning process. In this work we argue that this transformation not only can be fixed (i.e. set as non trainable) with no loss of accuracy, but it can also be used to learn stationary and maximally discriminative embeddings. We show that the stationarity of the embedding and its maximal discriminative representation can be theoretically justified by setting the weights of the fixed classifier to values taken from the coordinate vertices of three regular polytopes available in $\mathbb{R}^d$, namely: the $d$-Simplex, the $d$-Cube and the $d$-Orthoplex. These regular polytopes have the maximal amount of symmetry that can be exploited to generate stationary features angularly centered around their corresponding fixed weights. Our approach improves and broadens the concept of a fixed classifier, recently proposed in \cite{hoffer2018fix}, to a larger class of fixed classifier models. Experimental results confirm both the theoretical analysis and the generalization capability of the proposed method.

研究动机与目标

• 通过固定分类器权重来解决深度网络训练过程中特征表示的不稳定性与非平稳性问题。
• 证明基于对称多胞形配置的固定分类器可实现最优的特征可分性与平稳性。
• 将固定分类器的概念从基于Hadamard的方法推广至更广泛的对称且具有理论基础的配置类别。
• 表明基于正多胞形的固定分类器在多种架构与数据集上均能保持高准确率，即使在特征维度降低时亦如此。
• 通过预先定义基于对称几何结构的分类器权重，实现可预测的特征空间对齐。

提出的方法

• 分类器权重初始化为ℝ^d中正多胞形的坐标顶点：d-单形、d-立方体和d-正轴体。
• 最后的全连接层使用固定、不可训练的线性分类器，其中得分计算为 z_i = w_i^T · f，且 w_i 固定为多胞形顶点。
• 通过SGD优化特征向量 f，以最小化分类损失，使特征向量与固定权重方向保持夹角对齐。
• 多胞形顶点的对称性确保特征均值保持恒定（即平稳），且在每个类别权重方向上呈角向中心分布。
• 该方法在多种架构（LeNet++、VGG、DenseNet）和数据集（MNIST、CIFAR-10/100）上实现，训练设置与基线模型完全一致。
• 理论依据在于：对称多胞形配置可最大化特征方向之间的夹角分离度，并最小化其方差。

实验结果

研究问题

• RQ1 基于正多胞形的固定分类器权重能否强制实现稳定且最大可分的特征表示？
• RQ2 多胞形分类器的对称性如何影响特征对齐与训练稳定性？
• RQ3 与可训练分类器相比，使用对称的固定分类器是否能在多种架构与数据集上实现相当或更优的准确率？
• RQ4 特征空间维度 d 相对于类别数 K 时，对基于多胞形的固定分类器性能有何影响？
• RQ5 所提出方法是否能实现比标准固定分类器基线更快的学习收敛速度？

主要发现

• RePoNet在准确率上达到或优于可训练分类器，例如在 d=50 时使用 d-正轴体在 CIFAR-100 上达到 74.32%，与 d=512 的基线模型性能相当。
• 在 VGG19 上，d-立方体分类器在 d=7 时达到 64.02% 准确率，优于在 d=512 时使用可训练分类器的 68.69% 准确率，且特征维度显著降低。
• 在 d=50 时，RePoNet d-正轴体在 CIFAR-100 上达到 69.07%，超过 d=7 时使用可训练分类器的基线模型（66.32%）。
• 该方法表现出更快的学习速度，在 CIFAR-100 上的训练曲线显示其收敛速率与可训练基线相当。
• 性能在多种架构（包括 DenseNet-169）上保持稳定，验证了其与架构无关的适用性。
• 当 d < K 时，基于 Hadamard 的固定分类器会失效，但 RePoNet 仍保持性能，表明其对类别与维度失衡具有强鲁棒性。