[论文解读] Expert Training: Task Hardness Aware Meta-Learning for Few-Shot Classification

Yucan Zhou, Yu Wang+4 more|arXiv (Cornell University)|Jul 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 49被引用 9

一句话总结

该论文提出Expert Training，一种任务难度感知的元学习框架，通过在困难任务之前按顺序训练简单任务，提升了少样本图像分类性能。通过集成一个任务难度感知模块（THAM），利用HSIC和欧氏距离等指标估计类别可区分性，该方法增强了元学习器的泛化能力，在miniImageNet和tieredImageNetSketch上达到最先进性能，尤其在5-way-1-shot设置下表现突出。

ABSTRACT

Deep neural networks are highly effective when a large number of labeled samples are available but fail with few-shot classification tasks. Recently, meta-learning methods have received much attention, which train a meta-learner on massive additional tasks to gain the knowledge to instruct the few-shot classification. Usually, the training tasks are randomly sampled and performed indiscriminately, often making the meta-learner stuck into a bad local optimum. Some works in the optimization of deep neural networks have shown that a better arrangement of training data can make the classifier converge faster and perform better. Inspired by this idea, we propose an easy-to-hard expert meta-training strategy to arrange the training tasks properly, where easy tasks are preferred in the first phase, then, hard tasks are emphasized in the second phase. A task hardness aware module is designed and integrated into the training procedure to estimate the hardness of a task based on the distinguishability of its categories. In addition, we explore multiple hardness measurements including the semantic relation, the pairwise Euclidean distance, the Hausdorff distance, and the Hilbert-Schmidt independence criterion. Experimental results on the miniImageNet and tieredImageNetSketch datasets show that the meta-learners can obtain better results with our expert training strategy.

研究动机与目标

• 为解决标准元学习中随机采样的任务被同等对待所导致的收敛性差和性能欠佳的问题。
• 通过引入优先训练简单任务再训练困难任务的课程学习策略，提升元学习器的泛化能力。
• 设计一个任务难度感知模块（THAM），基于少样本任务中类别可区分性来估计任务难度。
• 评估多种难度度量方法——语义关系、成对欧氏距离、Hausdorff距离和HSIC——对元学习性能的影响。
• 证明根据估计的任务难度重新排序训练任务，可使元学习器在新颖的、未见过的少样本任务上实现更好的泛化性能。

提出的方法

• 该方法引入两阶段训练策略：第一阶段在简单任务上进行主干学习，以建立基本分类能力；第二阶段聚焦于困难任务，以优化元学习器。
• 在元训练流程中集成任务难度感知模块（THAM），利用类别层面可区分性指标估计任务难度。
• THAM以两种形式实现：基于类别语义的语义THAM（Se-THAM）和基于可微距离度量（如HSIC和欧氏距离）的可计算THAM（Co-THAM）。
• 利用难度得分对元损失进行重加权，使第二阶段优先处理困难任务，从而动态应用课程学习策略。
• 该框架应用于MAML和Relation Net，并在MTL设置中结合预训练的ResNet-12主干网络，实现最先进性能。
• 训练采用基于episode的元学习，支持集/查询集划分，元学习器通过查询损失反向传播进行更新，且更新过程现在基于估计的任务难度进行条件化。

实验结果

研究问题

• RQ1 能否通过从简单到困难的顺序训练任务，采用课程学习策略来提升少样本图像分类中元学习器的性能？
• RQ2 如何有效估计任务难度，使其真实反映在少样本任务中区分类别的困难程度？
• RQ3 使用不同的难度度量方法（如语义相似度、欧氏距离、Hausdorff距离和HSIC）是否会在元学习器训练中带来可测量的性能差异？
• RQ4 与标准元学习和仅训练困难任务的策略相比，基于难度感知的课程学习的专家训练能否实现更好的泛化性能？
• RQ5 在测试过程中，专家训练在不同任务难度级别下的表现如何，特别是在语义上简单和困难的任务上？

主要发现

• Expert Training结合Co-THAM-HSIC在5-way-1-shot miniImageNet上达到49.54%的准确率，优于标准MAML（48.70%）和MAML-HT（49.10%）。
• 在5-way-5-shot任务上，该方法达到66.10%的准确率，显著优于基线MAML（63.11%）和MAML-HT（64.10%）。
• 在tieredImageNetSketch上，该方法在语义上简单的任务上达到84.70%的准确率，在困难任务上达到63.02%，分别优于Meta-SGD 6.31%和4.43%。
• MTL-ResNet-ET-Co-THAM-HSIC模型在5-way-1-shot任务上达到62.01%的准确率，在5-way-5-shot任务上达到75.27%，在miniImageNet上创下新SOTA记录。
• 结果表明，更大的批量大小能提升性能，表明该方法从每次元更新中使用更多训练任务中受益，显示出良好的可扩展性潜力。
• Co-THAM变体始终优于Se-THAM，表明可微、端到端的难度估计与元学习器优化更有效结合。