[论文解读] GistNet: a Geometric Structure Transfer Network for Long-Tailed Recognition

Bo Liu, Haoxiang Li+3 more|arXiv (Cornell University)|May 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 27被引用 4

一句话总结

GistNet 通过利用对流行类别的过拟合，提出了一种用于长尾识别的几何结构迁移框架。该方法采用新颖的分类器架构，通过类特定中心和共享位移向量来编码类别几何结构。GIST 训练算法结合了类别平衡采样与随机采样，将高样本量类别的几何结构迁移至少样本类别，实现了无需人工类别加权或显式类别分组的最先进性能。

ABSTRACT

The problem of long-tailed recognition, where the number of examples per class is highly unbalanced, is considered. It is hypothesized that the well known tendency of standard classifier training to overfit to popular classes can be exploited for effective transfer learning. Rather than eliminating this overfitting, e.g. by adopting popular class-balanced sampling methods, the learning algorithm should instead leverage this overfitting to transfer geometric information from popular to low-shot classes. A new classifier architecture, GistNet, is proposed to support this goal, using constellations of classifier parameters to encode the class geometry. A new learning algorithm is then proposed for GeometrIc Structure Transfer (GIST), with resort to a combination of loss functions that combine class-balanced and random sampling to guarantee that, while overfitting to the popular classes is restricted to geometric parameters, it is leveraged to transfer class geometry from popular to few-shot classes. This enables better generalization for few-shot classes without the need for the manual specification of class weights, or even the explicit grouping of classes into different types. Experiments on two popular long-tailed recognition datasets show that GistNet outperforms existing solutions to this problem.

研究动机与目标

• 通过将高样本量类别的几何结构迁移至低样本量类别，而非对抗过拟合，来解决长尾识别问题。
• 消除在长尾数据分布下训练深度分类器时对人工类别加权或启发式策略的依赖。
• 开发一种数据驱动方法，自然利用标准训练的固有过拟合倾向，以提升少样本类别的泛化能力。
• 设计一种显式通过参数星座（包括类特定中心和共享位移）建模类别几何结构的分类器架构。

提出的方法

• GistNet 使用包含类特定中心和共享位移向量的分类器架构，以编码类别几何结构，形成参数的“星座”。
• 该模型采用混合训练策略，结合类别平衡采样和随机小批量采样，分别学习不同组件：通过类别平衡采样学习中心，通过随机采样学习位移。
• 几何结构迁移（GIST）损失将交叉熵与几何正则化相结合，鼓励共享位移向量继承已充分学习的多类别样本量类别的自然几何结构。
• 通过随机采样学习位移向量，利用标准分类器对流行类别的过拟合特性，实现几何结构向低样本量类别的迁移。
• 该方法通过双采样策略解耦中心学习（类特定）与几何学习（共享），从而避免显式类别加权。
• 参数星座定义为 $ \mathbf{w}_{kj} = \mathbf{w}_k + \delta_j $，其中 $ \mathbf{w}_k $ 为类别中心，$ \delta_j $ 为共享位移，形成对类别频率不变的几何结构。

Figure 1: Left: in long-tailed recognition, the small number of samples from medium- and few-shot classes make it difficult to learn their geometry, leading to inaccurate class boundaries. This is unlike many-shot classes, whose natural geometry can usually be learned. Middle: the boundaries are cor

实验结果

研究问题

• RQ1 能否将标准训练中对流行类别的过拟合加以利用而非抑制，以提升少样本类别的泛化能力？
• RQ2 能否在无需人工类别加权的情况下，有效将已充分学习的多类别样本量类别的几何结构迁移至低样本量类别？
• RQ3 共享位移向量表示是否能相比标准分类器，为少样本类别带来更好的泛化性能？
• RQ4 GistNet 架构在位移向量数量或其函数形式变化下是否具有鲁棒性？

主要发现

• GistNet 在两个长尾识别基准上实现了最先进性能，且无需人工类别加权即优于现有方法。
• 消融研究显示，结合类别平衡采样与随机采样至关重要：若移除随机采样损失（COS+CS+GIST），则中心会过度拟合多类别样本量数据，导致少样本性能下降。
• 使用旋转或学习函数 $ g $ 构建参数星座相比简单加法仅带来微小性能提升，表明几何约束的重要性超过实现细节。
• 最优位移向量数量 $ m $ 为 4，当 $ m=8 $ 时，少样本类别的性能趋于饱和或略有提升，表明几何结构迁移对低资源类别最具益处。
• t-SNE 可视化结果表明，与基线模型相比，GistNet 生成了更清晰分离且更一致的类别边界，尤其在少样本类别上表现更优。
• 推理分析显示，79.2% 的类别在至少 10% 的测试样本中使用了全部四个位移向量，表明模型未退化为单一星座结构。

Figure 2: GistNet approximates the shared geometry by a constellation (mixture) of spherical Gaussians.