[论文解读] Knowledge Concentration: Learning 100K Object Classifiers in a Single CNN

Jiyang Gao, Zijian Guo+3 more|arXiv (Cornell University)|Nov 21, 2017

Advanced Neural Network Applications参考文献 18被引用 21

一句话总结

本文提出知识浓缩（Knowledge Concentration），一种多教师单学生知识蒸馏框架，可将数十个专业网络的知识迁移至一个紧凑的学生模型中，实现对10万个物体类别的高精度分类。通过整合自适应学习（self-paced learning）与结构相连层（structurally connected layers），该方法在OpenImages和一个新的10万个类别数据集（EFT）上均达到最先进性能，相比通用基线模型，平均每垂直类别平均精度最高提升3.8个百分点。

ABSTRACT

Fine-grained image labels are desirable for many computer vision applications, such as visual search or mobile AI assistant. These applications rely on image classification models that can produce hundreds of thousands (e.g. 100K) of diversified fine-grained image labels on input images. However, training a network at this vocabulary scale is challenging, and suffers from intolerable large model size and slow training speed, which leads to unsatisfying classification performance. A straightforward solution would be training separate expert networks (specialists), with each specialist focusing on learning one specific vertical (e.g. cars, birds...). However, deploying dozens of expert networks in a practical system would significantly increase system complexity and inference latency, and consumes large amounts of computational resources. To address these challenges, we propose a Knowledge Concentration method, which effectively transfers the knowledge from dozens of specialists (multiple teacher networks) into one single model (one student network) to classify 100K object categories. There are three salient aspects in our method: (1) a multi-teacher single-student knowledge distillation framework; (2) a self-paced learning mechanism to allow the student to learn from different teachers at various paces; (3) structurally connected layers to expand the student network capacity with limited extra parameters. We validate our method on OpenImage and a newly collected dataset, Entity-Foto-Tree (EFT), with 100K categories, and show that the proposed model performs significantly better than the baseline generalist model.

研究动机与目标

• 为解决训练单一CNN对10万个细粒度图像类别进行分类的挑战，该挑战受限于模型容量与训练速度缓慢。
• 克服为不同垂直领域（如鸟类、汽车）部署数十个独立专业网络所带来的低效与高资源消耗问题。
• 开发一种方法，能有效将多个专业教师的知识迁移至单一高效学生模型中，且不损失性能。
• 设计一种可扩展、资源高效的架构，以极小的参数增加实现模型容量扩展。
• 在新收集的10万个类别数据集（Entity-Foto-Tree，简称EFT）和OpenImages上验证该方法，证明其在准确率与效率方面优于通用基线与专业基线模型。

提出的方法

• 采用多教师单学生知识蒸馏框架，将多个专业网络（教师）的知识迁移至单一通用学生模型。
• 引入自适应学习机制，使学生能够以不同速率从不同教师学习，模拟学生在不同学科中以不同速度吸收知识的过程。
• 提出结构相连层，通过组合通用单元实现跨垂直领域表征，同时通过独立单元实现垂直领域内专业化，仅使用极少额外参数扩展学生模型容量。
• 学生模型通过知识蒸馏损失进行训练，教师网络的软标签引导学生输出分布。
• 该方法应用于新收集的10万个类别数据集（EFT）和OpenImages，使用50个GPU工作节点，采用Adagrad优化算法进行训练。
• 基础网络采用Inception-V2的'Mixed_1'至'Mixed_3c'层，最终28×28×256特征图通过全局平均池化压缩为256维向量。

实验结果

研究问题

• RQ1 能否有效将数十个专业网络的知识迁移至单一学生模型，实现在10万个类别图像分类任务上的高性能？
• RQ2 自适应学习机制是否能提升学生从多个复杂度各异的教师中学习的能力？
• RQ3 结构相连层是否能在不显著增加参数量的前提下扩展模型容量？
• RQ4 在大规模数据集上，该方法与通用基线及专业基线在准确率与效率方面的表现如何比较？
• RQ5 学生模型与专业模型之间的性能差距是否依赖于瓶颈层大小与训练设置？

主要发现

• 多教师蒸馏框架将OpenImages上的平均每垂直类别平均精度从通用基线的62.0提升至63.2。
• 引入结构相连层后，性能进一步提升至64.0，证明了在极小参数增长下实现有效容量扩展。
• 结合垂直级别自适应学习机制后，性能进一步提升至65.8，表明自适应学习率可显著增强知识迁移效果。
• 在EFT数据集上，学生模型显著优于通用基线，且与专业模型之间的性能差距明显缩小。
• 学生与专业模型之间的性能差距在OpenImages上小于在EFT上，主要原因是EFT中专业模型的瓶颈层更大（4096），而OpenImages中通用与专业模型的瓶颈层均为512。
• 该方法在两个数据集上均持续提升性能，证实了知识蒸馏、自适应学习与结构相连层在将CNN扩展至10万个类别任务中的有效性。