[论文解读] Fine-Grained Classification via Mixture of Deep Convolutional Neural Networks

Zongyuan Ge, Alex Bewley+4 more|arXiv (Cornell University)|Nov 30, 2015

Advanced Neural Network Applications参考文献 21被引用 5

一句话总结

本文提出 MixDCNN，一种深度卷积神经网络的混合模型，通过将图像划分为 K 个相似子集，并以端到端联合方式训练 K 个专家 DCNN，从而提升细粒度图像分类性能。该方法采用置信度加权的输出，无需额外的门控网络，实现了 SOTA 性能，在多个数据集上相较基线方法取得 12.7% 的相对性能提升。

ABSTRACT

We present a novel deep convolutional neural network (DCNN) system for fine-grained image classification, called a mixture of DCNNs (MixDCNN). The fine-grained image classification problem is characterised by large intra-class variations and small inter-class variations. To overcome these problems our proposed MixDCNN system partitions images into K subsets of similar images and learns an expert DCNN for each subset. The output from each of the K DCNNs is combined to form a single classification decision. In contrast to previous techniques, we provide a formulation to perform joint end-to-end training of the K DCNNs simultaneously. Extensive experiments, on three datasets using two network structures (AlexNet and GoogLeNet), show that the proposed MixDCNN system consistently outperforms other methods. It provides a relative improvement of 12.7% and achieves state-of-the-art results on two datasets.

研究动机与目标

• 解决细粒度图像分类中的挑战，即类间差异微小而类内差异较大，导致准确区分困难。
• 克服先前方法依赖独立门控网络或仅将专家网络用于特征提取的局限性。
• 构建一个统一的、可端到端训练的框架，联合优化专家网络及其基于置信度的加权机制，以支持分类决策。
• 通过在训练过程中实现动态样本重分配，提升性能，超越现有集成、门控及子集特征学习方法。

提出的方法

• 基于预训练 DCNN（如 AlexNet 或 GoogLeNet）提取的特征，使用聚类方法将训练数据划分为 K 个互不重叠的子集，依据视觉相似性。
• 为每个子集训练一个专家 DCNN，使用预训练网络（如 ImageNet 权重）进行权重初始化。
• 利用占用概率（occupation probability）对每个专家的输出进行加权，权重与该专家预测的置信度成正比，形成软集成决策。
• 对所有 K 个专家网络及置信度加权机制进行端到端的反向传播，实现在训练过程中动态重分配样本。
• 使用线性判别分析（LDA）将特征维度降低至 D=128，使用 AlexNet 的第一个全连接层或 GoogLeNet 的最终特征层的特征进行聚类。
• 使用标准交叉熵损失进行训练，GoogLeNet 的最后一层采用更高的 dropout 率（0.5）以防止过拟合。

实验结果

研究问题

• RQ1 多个专家 DCNN 的联合端到端训练框架是否能超越传统集成或门控方法，在细粒度分类任务中实现更优性能？
• RQ2 通过置信度加权输出实现的自适应样本重分配，是否优于固定划分或独立门控网络？
• RQ3 该混合专家方法的性能在不同网络架构（如 AlexNet 与 GoogLeNet）及数据集上的表现如何？
• RQ4 数据集规模对混合专家策略有效性的影响如何，尤其是在迁移学习已表现优异的情况下？
• RQ5 占用概率机制能否在无显式门控监督的情况下，有效学习将样本分配给最相关的专家？

主要发现

• 在排除 CUB 数据集的情况下，MixDCNN 在多个数据集上相较基线 DCNN-tl 方法实现了 12.7% 的相对性能提升。
• 在 Birdsnap 数据集上，使用 GoogLeNet 进行迁移学习的 MixDCNN 达到 67.4% 的准确率，相较之前 SOTA 的 48.8% 提升了 9.9% 的相对性能。
• 在 PlantCLEF-Flower 数据集上，MixDCNN 达到 51.9% 的准确率，相较基线 DCNN-tl 的 48.7% 提升了 7.0% 的相对性能。
• 该方法在各项相关方法中表现一致更优，包括 GatedDCNN（平均相对提升 9.1%）、Subset FL 和集成方法。
• 性能增益在较大数据集（如 Birdsnap）上最为显著，而在较小数据集（如 CUB200-2011）上增益有限，原因在于迁移学习已提供较强的基线性能。
• 联合训练机制使模型在训练过程中能够动态地将样本重新分配给最合适的专家，从而增强模型的适应性与准确性。