[论文解读] Annotation-Free and One-Shot Learning for Instance Segmentation of Homogeneous Object Clusters

Zheng Wu, Ruicheng Chang+3 more|arXiv (Cornell University)|Feb 1, 2018

Advanced Vision and Imaging被引用 7

一句话总结

该论文提出了一种无需标注、单次学习的实例分割框架，用于同质物体簇（HOCs）的分割，通过从单个物体视频中合成逼真的训练数据实现。该方法利用结构感知的图像生成与光照变换技术，生成高质量的合成HOC图像，在基线方法上实现了mAP r @0.5提升12.0%，并在新发布的HOC数据集上超越了COCO预训练模型的性能。

ABSTRACT

We propose a novel approach for instance segmen- tation given an image of homogeneous object clus- ter (HOC). Our learning approach is one-shot be- cause a single video of an object instance is cap- tured and it requires no human annotation. Our in- tuition is that images of homogeneous objects can be effectively synthesized based on structure and illumination priors derived from real images. A novel solver is proposed that iteratively maximizes our structured likelihood to generate realistic im- ages of HOC. Illumination transformation scheme is applied to make the real and synthetic images share the same illumination condition. Extensive experiments and comparisons are performed to ver- ify our method. We build a dataset consisting of pixel-level annotated images of HOC. The dataset and code will be published with the paper.

研究动机与目标

• 解决密集、遮挡、同质物体簇（HOCs）实例分割的高标注成本问题。
• 仅使用单个物体实例的视频实现单次学习，消除对人工标注数据集的依赖。
• 生成保留结构布局与光照一致性的逼真、像素级精确的合成HOC图像。
• 在新发布的200张标注HOC图像数据集上对方法进行基准测试。

提出的方法

• 从真实HOC图像中学习结构似然函数，以指导在簇布局中合成物体的放置。
• 应用光照变换方案，对齐合成图像与真实图像的光照，提升真实感。
• 使用新型求解器迭代最大化结构似然，生成结构上合理的合成HOC图像。
• 在合成数据上训练实例分割模型（如Mask R-CNN），无需任何人工标注样本。
• 以单对象视频作为输入，端到端地提取掩码并合成训练数据。
• 整合结构与光照先验，以提升模型的泛化能力与对遮挡的鲁棒性。

实验结果

研究问题

• RQ1 能否仅使用单个物体实例的视频，合成逼真且像素级标注的HOC图像，用于训练实例分割模型？
• RQ2 与随机放置相比，结构感知图像合成在提升分割性能方面有多有效？
• RQ3 真实图像与合成图像之间的光照变换是否能增强模型的泛化能力与性能？
• RQ4 所提方法是否能在无任何人工标注训练数据的情况下实现具有竞争力的性能？
• RQ5 与在大规模数据集（如COCO）上预训练的模型相比，该方法在HOC实例分割上的表现如何？

主要发现

• 所提方法在仅使用随机合成图像的基线方法基础上，实现了mAP r @0.5绝对提升12.0%，以及mAP r @[0.5:0.95]提升9.4%。
• 当与结构感知合成结合时，光照变换显著提升性能；但若与随机图像生成结合，则无明显增益。
• 该方法在相同HOC数据集上超越了COCO预训练的Mask R-CNN，在橙色类别上实现了90.0%的mAP r @0.5与84.0%的mAP r @[0.5:0.95]。
• 定性结果表明，与基线方法相比，该方法能更有效地分割部分遮挡的实例，展现出对遮挡模式的有效建模能力。
• 该方法在不同IoU阈值下均表现稳健，图6显示所有重叠阈值下mAP r均有稳定提升。
• 消融实验验证了结构建模与光照对齐对最优性能均不可或缺，二者结合可带来最大性能增益。