[论文解读] Maximally Compact and Separated Features with Regular Polytope Networks

Federico Pernici, Matteo Bruni+2 more|arXiv (Cornell University)|Jan 15, 2023

Image Retrieval and Classification Techniques参考文献 2被引用 6

一句话总结

本文提出边际正多面体网络（Margin-RePoNets），通过将分类器权重固定为正多面体的顶点，并结合加法角 margin 损失，实现卷积神经网络中特征的极致紧凑与分离。该方法在无需辅助损失的情况下实现最先进水平的判别性特征学习，减少参数与超参数数量，同时保持高准确率。

ABSTRACT

Convolutional Neural Networks (CNNs) trained with the Softmax loss are widely used classification models for several vision tasks. Typically, a learnable transformation (i.e. the classifier) is placed at the end of such models returning class scores that are further normalized into probabilities by Softmax. This learnable transformation has a fundamental role in determining the network internal feature representation. In this work we show how to extract from CNNs features with the properties of \emph{maximum} inter-class separability and \emph{maximum} intra-class compactness by setting the parameters of the classifier transformation as not trainable (i.e. fixed). We obtain features similar to what can be obtained with the well-known ``Center Loss'' \cite{wen2016discriminative} and other similar approaches but with several practical advantages including maximal exploitation of the available feature space representation, reduction in the number of network parameters, no need to use other auxiliary losses besides the Softmax. Our approach unifies and generalizes into a common approach two apparently different classes of methods regarding: discriminative features, pioneered by the Center Loss \cite{wen2016discriminative} and fixed classifiers, firstly evaluated in \cite{hoffer2018fix}. Preliminary qualitative experimental results provide some insight on the potentialities of our combined strategy.

研究动机与目标

• 解决现有方法（如 Center Loss）的局限性，后者需要额外参数与辅助损失以实现类内紧凑性与类间可分性。
• 将两种不同方法——通过 Center Loss 实现的判别性特征学习与固定分类器方法——统一并推广为单一、有理论依据的框架。
• 利用固定且几何最优的分类器结构，在特征空间中实现全局最大类间可分性与类内紧凑性。
• 通过几何约束将紧凑性与可分性直接嵌入 Softmax 损失，从而消除多个损失之间平衡超参数的需要。

提出的方法

• 将最终分类器权重固定为正多面体（如单纯形、正轴形、超立方体）的顶点，其天然提供类中心之间的最大角分离。
• 使用加法角 margin 损失，通过将特征推向其对应的固定分类器权重，强制实现最大类内紧凑性。
• 仅使用标准 Softmax 交叉熵损失训练卷积神经网络，而固定分类器的几何结构与 margin 损失共同强制实现最优特征分布。
• 利用正多面体顶点的对称性与均匀角分布，确保所有类别之间实现全局而非局部的特征分离。
• 对特征进行 L2 归一化，以支持基于距离的识别，确保投影后的特征分布与预期的多面体几何结构一致。
• 通过解析方式优化 margin 参数 φ（允许的最大 margin），在不增加额外学习的情况下实现最大紧凑性。

实验结果

研究问题

• RQ1 由正多面体导出的固定分类器权重是否能在深度特征空间中实现最大类间可分性？
• RQ2 将固定多面体分类器与加法角 margin 损失结合，是否能在无需辅助损失的情况下实现最大紧凑性特征？
• RQ3 与可学习分类器相比，基于固定分类器的特征学习在准确率与特征几何结构方面表现如何？
• RQ4 与现有方法（如 Center Loss 或三元组损失）相比，该方法是否能减少模型参数与超参数数量？
• RQ5 分类器的几何结构是否能在低维特征空间中仍保持最大特征紧凑性与可分性？

主要发现

• 所提出的 Margin-RePoNet 方法在 MNIST 上达到 99.45% 的分类准确率，在 EMNIST 上达到 88.31%，与标准可学习分类器相当，同时生成具有最大几何紧凑性与可分性的特征。
• 使用固定多面体分类器学习的特征精确遵循预期的几何构型（例如，在 d=6 时为超立方体的顶点），表明与底层多面体结构完全对齐。
• 在低维特征空间中，标准可学习分类器无法维持类间分离，而 Margin-RePoNets 凭借其固定且对称的分类器几何结构，仍能保持最大可分性。
• 该方法消除了对 Center Loss 或三元组损失等辅助损失的需求，降低了模型复杂度与超参数调优需求。
• Margin-RePoNets 的 L2 归一化特征在投影中形成多面体顶点的完美映射（例如，6D 超立方体在 2D 投影中形成单位正方形），证实了全局几何一致性。
• 该方法显著减少了可训练参数与超参数数量，为包含数千类别规模的大规模识别任务提供了可扩展的解决方案。