[论文解读] Fine-to-coarse Knowledge Transfer For Low-Res Image Classification

Xingchao Peng, Judy Hoffman+2 more|arXiv (Cornell University)|May 21, 2016

Domain Adaptation and Few-Shot Learning参考文献 8被引用 9

一句话总结

本文提出一种分阶段训练方法，将高分辨率训练数据中的细粒度判别特征迁移至低分辨率测试图像，显著提升细粒度分类准确率。通过先在高分辨率数据上预训练，再在低分辨率数据上微调，该方法在Stanford Cars数据集上实现18%的相对性能提升，在CUB-200-2011鸟类数据集上达到55.3%的准确率，优于传统的训练方式和超分辨率基线方法。

ABSTRACT

We address the difficult problem of distinguishing fine-grained object categories in low resolution images. Wepropose a simple an effective deep learning approach that transfers fine-grained knowledge gained from high resolution training data to the coarse low-resolution test scenario. Such fine-to-coarse knowledge transfer has many real world applications, such as identifying objects in surveillance photos or satellite images where the image resolution at the test time is very low but plenty of high resolution photos of similar objects are available. Our extensive experiments on two standard benchmark datasets containing fine-grained car models and bird species demonstrate that our approach can effectively transfer fine-detail knowledge to coarse-detail imagery.

研究动机与目标

• 解决在低分辨率图像中判别性特征模糊或丢失所带来的细粒度分类挑战。
• 在测试图像为粗粒度（例如50×50像素）但拥有高分辨率标注训练数据的情况下，提升分类性能。
• 开发一种知识迁移方法，有效将高分辨率域中的细粒度特征适配到低分辨率测试场景中，而无需在低分辨率数据上重新训练。

提出的方法

• 该方法采用两阶段训练流程：首先在高分辨率图像上预训练CNN，以学习判别性的中级层次特征。
• 在第二阶段，网络在高分辨率训练数据的人工下采样版本上进行微调，以匹配测试集的分辨率。
• 该方法利用高分辨率数据中的丰富细节，同时通过端到端微调将特征适配到更粗糙的分辨率。
• 通过直接从高分辨率到低分辨率表示的知识迁移，避免了复杂的超分辨率处理流程。
• 该方法具有通用性，可应用于多种CNN架构，包括AlexNet。
• 特征热图可视化结果表明，该方法在低分辨率设置下学习到更强大且空间上更一致的判别性特征。

实验结果

研究问题

• RQ1 能否有效将从高分辨率图像中学到的细粒度特征迁移到低分辨率测试图像中，以提升分类性能？
• RQ2 与在高分辨率数据上进行常规训练相比，分阶段训练（先在高分辨率上预训练，再在低分辨率上微调）在应用于低分辨率测试数据时是否表现更优？
• RQ3 在低分辨率细粒度分类任务中，该方法与基于超分辨率的方法相比，在准确率和计算效率方面表现如何？
• RQ4 该知识迁移是否仅在从细到粗的方向有效，若反向迁移（从低分辨率到高分辨率）是否会降低性能？
• RQ5 在数据稀缺条件下，分阶段训练是否比混合训练（高分辨率与低分辨率联合训练）具有更好的泛化能力？

主要发现

• 在Stanford Cars数据集上，所提出的分阶段训练方法在低分辨率测试图像上达到58.1%的准确率，相较于在高分辨率数据上训练的基线AlexNet，实现了18%的相对性能提升。
• 在CUB-200-2011鸟类数据集上，该方法在低分辨率测试数据上达到55.3%的准确率，优于混合训练（53.6%）和超分辨率基线方法（50.1%）。
• 当在低分辨率数据上测试时，该方法显著优于传统的高分辨率训练方式，证明了从细到粗知识迁移的有效性。
• 可视化结果表明，与标准训练相比，该方法在低分辨率图像中学习到更鲁棒且空间上更一致的判别性特征。
• 在训练数据有限的情况下，分阶段训练始终优于混合训练，表明其具有更好的样本效率。
• 通过分阶段训练将知识从低分辨率迁移至高分辨率会降低性能，证实了该方法的方向性和特异性。