[论文解读] Meta-learning algorithms for Few-Shot Computer Vision

Etienne Bennequin|arXiv (Cornell University)|Sep 30, 2019

Domain Adaptation and Few-Shot Learning参考文献 37被引用 7

一句话总结

本文提出了一个少样本图像分类的元学习算法基准，并引入了YOLOMAML，一种新颖的少样本目标检测元学习方法。尽管进行了广泛的超参数调优，YOLOMAML仍未能有效收敛，F1分数低于0.001，表明目标置信度预测存在挑战，从而阻碍了性能表现。

ABSTRACT

Few-Shot Learning is the challenge of training a model with only a small amount of data. Many solutions to this problem use meta-learning algorithms, i.e. algorithms that learn to learn. By sampling few-shot tasks from a larger dataset, we can teach these algorithms to solve new, unseen tasks. This document reports my work on meta-learning algorithms for Few-Shot Computer Vision. This work was done during my internship at Sicara, a French company building image recognition solutions for businesses. It contains: 1. an extensive review of the state-of-the-art in few-shot computer vision; 2. a benchmark of meta-learning algorithms for few-shot image classification; 3. the introduction to a novel meta-learning algorithm for few-shot object detection, which is still in development.

研究动机与目标

• 评估并基准化多种数据集和设置下的最先进元学习算法在少样本图像分类中的表现。
• 探究将元学习适配到少样本目标检测这一计算机视觉中较少被探索但至关重要的问题的可行性。
• 识别并诊断一种新型目标检测元学习模型（YOLOMAML）在训练中的失败原因。
• 提出未来少样本目标检测的研究方向，包括数据集构建以及模型对不同类别数量的泛化能力。

提出的方法

• 在mini-ImageNet等标准基准上，对四种元学习算法——MAML、ProtoNets、Meta-SSL和孪生网络——在少样本图像分类任务中进行了基准测试。
• 通过将MAML框架适配到YOLOv3，实现了YOLOMAML，采用支持集与查询集的元训练策略，用于少样本目标检测。
• 在10,000个训练周期内对YOLOMAML进行训练，每个episode中进行两次支持集更新，优化包含边界框、分类和目标置信度项的复合损失函数。
• 分别分析损失组件：边界框损失、分类损失以及正负锚框的目标置信度损失，以隔离训练问题。
• 将YOLOMAML的损失动态与未使用元学习训练的标准YOLOv3基线模型进行对比，以识别失败模式。
• 使用指数移动平均来可视化损失趋势，并检测各训练组件中的停滞模式。

实验结果

研究问题

• RQ1 不同元学习算法在各类少样本图像分类基准上的表现如何？
• RQ2 与分类任务相比，将元学习适配到少样本目标检测面临哪些关键挑战？
• RQ3 尽管YOLOMAML的损失实现了训练收敛，为何其检测性能仍无实质提升？
• RQ4 YOLO损失函数中的哪一成分是导致YOLOMAML在推理阶段失败的主要原因？
• RQ5 未来少样本目标检测的元学习模型应如何设计，以支持对新类别数量的零样本泛化？

主要发现

• 基准测试确认了ProtoNets和MAML等元学习模型在少样本图像分类任务中的优异表现，尤其在mini-ImageNet数据集上。
• YOLOMAML在总损失上表现出快速收敛，但推理性能极差，所有评估中的F1分数均低于0.001。
• YOLOMAML中包含真实目标框的锚框的目标置信度损失上升至临界水平后停滞，表明存在核心训练不稳定性。
• 相比之下，标准YOLOv3训练在所有损失组件（包括目标置信度）上均保持稳定下降，表明失败问题特异性地源于元学习的适配过程。
• 损失分析显示，YOLOMAML中的边界框损失和分类损失在训练过程中基本保持不变，表明这些组件的梯度流极差。
• 研究结论认为，YOLOMAML的主要瓶颈在于目标置信度的预测，尽管在解决该问题后可能暴露出其他问题。