[论文解读] Learning to Annotate Part Segmentation with Gradient Matching

Yang Yu, Xiaotian Cheng+2 more|arXiv (Cornell University)|Nov 6, 2022

Advanced Neural Network Applications被引用 4

一句话总结

本文提出一种梯度匹配方法，用于在 GAN 生成的图像上训练标注器以实现部件分割，从而在无需人工标注合成数据的情况下实现高质量的弱监督。通过将标注器学习建模为元学习问题并将其简化为梯度匹配，该方法在仅使用极少标注数据的半监督部件分割任务中实现了最先进性能，在少样本设置下优于先前方法。

ABSTRACT

The success of state-of-the-art deep neural networks heavily relies on the presence of large-scale labelled datasets, which are extremely expensive and time-consuming to annotate. This paper focuses on tackling semi-supervised part segmentation tasks by generating high-quality images with a pre-trained GAN and labelling the generated images with an automatic annotator. In particular, we formulate the annotator learning as a learning-to-learn problem. Given a pre-trained GAN, the annotator learns to label object parts in a set of randomly generated images such that a part segmentation model trained on these synthetic images with their predicted labels obtains low segmentation error on a small validation set of manually labelled images. We further reduce this nested-loop optimization problem to a simple gradient matching problem and efficiently solve it with an iterative algorithm. We show that our method can learn annotators from a broad range of labelled images including real images, generated images, and even analytically rendered images. Our method is evaluated with semi-supervised part segmentation tasks and significantly outperforms other semi-supervised competitors when the amount of labelled examples is extremely limited.

研究动机与目标

• 通过利用 GAN 生成的图像实现弱监督，以解决部件分割中人工像素级标注的高昂成本问题。
• 通过采用元学习框架训练自动标注器，消除对人工标注合成图像的需求。
• 通过使标注器能够在包括真实图像、合成图像和分布外图像在内的多样化数据源上进行训练，提升其泛化能力和鲁棒性。
• 通过将标注器训练建模为梯度匹配问题，在仅使用极少标注数据的情况下实现高性能的分割。

提出的方法

• 将标注器学习建模为元学习问题：训练标注器为 GAN 生成的图像生成标签，使得在这些标签上训练的分割模型在少量真实验证图像上误差最小。
• 将嵌套循环优化（内层：分割模型训练；外层：标注器更新）简化为简单的梯度匹配问题，避免昂贵的端到端元学习。
• 使用迭代算法高效求解梯度匹配目标，实现标注器的稳定且可扩展的训练。
• 使用广泛范围的标注数据训练标注器，包括真实图像、GAN 生成的图像，甚至分析生成的图像，而无需人工标注合成数据。
• 利用预训练的无条件 GAN 生成多样化图像，并提取潜在特征作为标注器的输入。

实验结果

研究问题

• RQ1 我们能否在无需对 GAN 生成图像进行人工标注的情况下训练出高质量的部件分割标注器？
• RQ2 梯度匹配能否有效替代端到端元学习，在弱监督设置下训练标注器？
• RQ3 所提方法是否能在包括真实图像、合成图像和分布外图像在内的多样化数据源上实现良好泛化？
• RQ4 与现有半监督和弱监督方法相比，该方法在少样本设置下的表现如何？

主要发现

• 所提方法在半监督部件分割任务中实现了最先进性能，在标注样本数量极度有限时显著优于其他竞争方法。
• 在 CelebA 数据集上，仅使用 30 个标注样本，该方法实现了 78.07% 的 FG-mIoU，优于 DatasetGAN 在 16 个合成标签下实现的 70.01% FG-mIoU。
• 使用 CelebA-train 中的真实图像作为标注数据，性能提升至 79.25% mIoU，表明真实数据在训练信号方面优于合成数据。
• 在使用 1,500 个标注样本时，该方法在 CelebA 上实现了 77.90% 的 FG-mIoU，优于使用相同数量标签的监督学习方法。
• 在大规模设置下（如 29,000 个标签），性能趋于饱和或下降，表明性能存在上限，且与 GAN 质量密切相关，尤其在复杂数据集上。