[论文解读] MMF: Multi-Task Multi-Structure Fusion for Hierarchical Image Classification

Xiaoni Li, Yucan Zhou+2 more|arXiv (Cornell University)|Jul 2, 2021

Advanced Image and Video Retrieval Techniques参考文献 42被引用 6

一句话总结

该论文提出MMF，一种多任务多结构融合模型，将基于语义、视觉亲和力及其他先验知识的多种分层标签结构整合进单一深度学习框架，以提升分层图像分类性能。通过在不同标签结构上联合训练子类分类器与多个父类分类器，MMF在CIFAR100和Car196数据集上实现了最先进性能，相较于平坦分类或单结构方法，在分层评估指标上取得显著提升。

ABSTRACT

Hierarchical classification is significant for complex tasks by providing multi-granular predictions and encouraging better mistakes. As the label structure decides its performance, many existing approaches attempt to construct an excellent label structure for promoting the classification results. In this paper, we consider that different label structures provide a variety of prior knowledge for category recognition, thus fusing them is helpful to achieve better hierarchical classification results. Furthermore, we propose a multi-task multi-structure fusion model to integrate different label structures. It contains two kinds of branches: one is the traditional classification branch to classify the common subclasses, the other is responsible for identifying the heterogeneous superclasses defined by different label structures. Besides the effect of multiple label structures, we also explore the architecture of the deep model for better hierachical classification and adjust the hierarchical evaluation metrics for multiple label structures. Experimental results on CIFAR100 and Car196 show that our method obtains significantly better results than using a flat classifier or a hierarchical classifier with any single label structure.

研究动机与目标

• 通过利用来自不同标签结构的多种先验知识源，提升分层图像分类性能。
• 解决单结构分层模型可能与视觉或语义关系不一致的局限性。
• 设计一种端到端的深度学习框架，高效融合多种分层结构，避免冗余计算。
• 调整分层评估指标，以更准确反映跨层级错误的严重程度。
• 证明多结构融合在性能上始终优于单结构或平坦分类方法。

提出的方法

• MMF模型采用双分支架构：常规分类分支（CCB）用于子类预测，多个父类分类分支（MSCBs）用于识别由不同标签结构定义的父类。
• 每个MSCB通过源自特定标签结构（如语义、基于亲和力或视觉聚类）的相似性约束进行训练，强制特征表示尊重类别间关系。
• 加权多任务损失函数结合所有分支的监督信号，超参数（λ）控制每种标签结构约束的影响程度。
• 主干网络（VGG16或ResNet50）通过端到端微调，学习同时满足多种相似性约束的分层特征。
• 通过并行训练所有标签结构，实现多结构融合，使共享特征学习得以进行，同时保留结构特定的归纳偏置。
• 分层评估指标（如TIEa、LCAa）经调整以考虑多层级预测及错误严重程度。

实验结果

研究问题

• RQ1 结合基于语义、视觉亲和力及其他先验知识的多种分层标签结构，能否提升图像分类性能？
• RQ2 在多个父类分类器上进行多任务学习，相较于单结构或平坦分类，如何提升子类识别能力？
• RQ3 在深度学习框架中，融合多种标签结构的最优架构与损失加权策略为何？
• RQ4 当使用多种标签结构时，分层评估指标如何反映预测质量？
• RQ5 整合多样化标签结构是否导致更语义合理的误分类（即错误更轻微）？

主要发现

• 在CIFAR100上，MMF采用组合结构（H_A&H_S）达到79.52%的top-1准确率，优于最佳单结构方法（79.51%）和平坦基线（78.50%）。
• 在Car196上，MMF采用全部三种结构（H_A&H_T&H_M）达到90.29%准确率，超过最佳单结构结果（90.19%）和平坦基线（88.66%）。
• 分层指标如TIEa和LCAa的提升幅度超过top-1准确率，表明预测在错误严重程度上更接近真实标签。
• 采用多结构的模型（H_A&H_T&H_M）在Car196上TIEa为0.2468，显著低于平坦基线（0.3097），证实误分类更轻微。
• 最优λ值因结构而异，但通常等权重设置在各结构间能获得最佳性能，除非在复杂多结构情形如H_T&H_M中例外。
• 消融实验表明，添加任意单一结构均优于平坦基线，且组合结构表现最佳。