[论文解读] Improved Part Segmentation Performance by Optimising Realism of Synthetic Images using Cycle Generative Adversarial Networks

R. Barth, J. Hemming+1 more|arXiv (Cornell University)|Mar 16, 2018

Smart Agriculture and AI参考文献 21被引用 13

一句话总结

本文提出使用Cycle-GAN增强合成农业图像的真实感，通过卷积神经网络实现更优的语义部件分割。通过将合成图像转换为在色彩和纹理上匹配实测图像分布的形态，该方法显著提升了性能：在微调条件下达到52%的平均IOU，而在无任何实测微调的情况下也达到31%的IOU，相较于仅使用合成数据训练的性能提升了55%。

ABSTRACT

In this paper we report on improved part segmentation performance using convolutional neural networks to reduce the dependency on the large amount of manually annotated empirical images. This was achieved by optimising the visual realism of synthetic agricultural images.In Part I, a cycle consistent generative adversarial network was applied to synthetic and empirical images with the objective to generate more realistic synthetic images by translating them to the empirical domain. We first hypothesise and confirm that plant part image features such as color and texture become more similar to the empirical domain after translation of the synthetic images.Results confirm this with an improved mean color distribution correlation with the empirical data prior of 0.62 and post translation of 0.90. Furthermore, the mean image features of contrast, homogeneity, energy and entropy moved closer to the empirical mean, post translation. In Part II, 7 experiments were performed using convolutional neural networks with different combinations of synthetic, synthetic translated to empirical and empirical images. We hypothesised that the translated images can be used for (i) improved learning of empirical images, and (ii) that learning without any fine-tuning with empirical images is improved by bootstrapping with translated images over bootstrapping with synthetic images. Results confirm our second and third hypotheses. First a maximum intersection-over-union performance was achieved of 0.52 when bootstrapping with translated images and fine-tuning with empirical images; an 8% increase compared to only using synthetic images. Second, training without any empirical fine-tuning resulted in an average IOU of 0.31; a 55% performance increase over previous methods that only used synthetic images.

研究动机与目标

• 减少农业机器人语义分割模型训练对大规模标注实测图像数据集的依赖。
• 解决合成图像与真实世界农业图像之间的领域差距，该差距限制了合成数据自举方法的性能。
• 提升合成植株图像的真实感，使其在色彩、纹理和视觉外观上更贴近实测图像分布。
• 探究经转换的合成图像是否在训练用于部件分割的卷积神经网络（CNN）时优于原始合成图像。
• 证明仅在转换后的图像上进行微调-free训练，即可显著优于仅使用原始合成数据训练的性能。

提出的方法

• 应用循环一致性生成对抗网络（Cycle-GAN）在无配对数据的情况下将合成农业图像转换至实测图像领域。
• 使用无配对的合成图像与实测图像训练Cycle-GAN，利用循环一致性损失在转换过程中保持结构身份。
• 通过对抗损失和循环一致性损失联合优化生成器与判别器网络，以生成逼真的图像转换结果。
• 提取并比较原始合成图像、转换后的合成图像与实测图像之间的图像特征（色彩、对比度、同质性、能量、熵），以量化真实感的提升程度。
• 在三种数据组合上训练并评估深度卷积神经网络（CNN）：仅使用合成数据、将合成数据转换为实测领域后使用、仅使用实测数据。
• 以交并比（IOU）为主要指标，评估所有训练与微调配置下的语义分割性能。

实验结果

研究问题

• RQ1 Cycle-GAN转换是否能从色彩与纹理特征上减小合成与实测农业图像之间的视觉领域差距？
• RQ2 与仅在原始合成图像上训练相比，使用Cycle-GAN转换后的合成图像是否能提升在真实世界（实测）图像上的语义部件分割性能？
• RQ3 仅在转换后的合成图像上训练的CNN模型，是否能在不使用任何真实图像微调的情况下有效泛化至实测数据？
• RQ4 与仅使用原始合成图像相比，使用转换后的合成图像作为自举策略能带来多大的性能增益？
• RQ5 在平均IOU与类别级分割准确率方面，与在实测数据上微调的模型相比，基于转换图像训练的模型性能如何？

主要发现

• 经过Cycle-GAN转换后，合成图像与实测图像之间的平均色彩分布相关性从0.62提升至0.90，证实了视觉真实感的增强。
• 转换后图像中的对比度、同质性、能量与熵等特征显著趋近于实测图像的平均值，表明纹理真实感得到改善。
• 在不进行任何实测微调的情况下，仅使用转换后的合成图像训练CNN，平均IOU达到0.31，相较于仅使用原始合成图像训练（IOU = 0.20）提升了55%。
• 使用小规模实测数据集对转换后图像训练的模型进行微调，获得了最高性能：平均IOU为0.52，较仅使用合成图像训练（0.48）提升8%，较仅使用实测图像训练（0.41）提升27%。
• 切割类别（cut class）的改进最为显著：与仅使用合成图像训练相比，使用转换图像进行微调时IOU提高了118%；与仅使用实测图像训练相比，IOU提升了600%。
• 定性结果表明，转换后的合成图像与真实世界图像高度相似，仅存在少量伪影，且该方法成功保留了原始合成数据中的真实分割标签。