[论文解读] Show, match and segment: Joint learning of semantic matching and object co-segmentation

Yun Chun Chen, Yen‐Yu Lin+2 more|arXiv (Cornell University)|Jun 13, 2019

Advanced Neural Network Applications被引用 16

一句话总结

本文提出了一种用于语义匹配与目标共同分割的联合学习框架，通过两种任务之间的相互监督实现：来自匹配任务的密集对应场提升了掩码的一致性，而目标掩码则减少了匹配中的背景杂波。端到端模型在五个基准数据集上实现了最先进性能，且无需标注的对应点或掩码。

ABSTRACT

We present an approach for jointly matching and segmenting object instances of the same category within a collection of images. In contrast to existing algorithms that tackle the tasks of semantic matching and object co-segmentation in isolation, our method exploits the complementary nature of the two tasks. The key insights of our method are two-fold. First, the estimated dense correspondence fields from semantic matching provide supervision for object co-segmentation by enforcing consistency between the predicted masks from a pair of images. Second, the predicted object masks from object co-segmentation in turn allow us to reduce the adverse effects due to background clutters for improving semantic matching. Our model is end-to-end trainable and does not require supervision from manually annotated correspondences and object masks. We validate the efficacy of our approach on five benchmark datasets: TSS, Internet, PF-PASCAL, PF-WILLOW, and SPair-71k, and show that our algorithm performs favorably against the state-of-the-art methods on both semantic matching and object co-segmentation tasks.

研究动机与目标

• 为解决现有方法将语义匹配与目标共同分割视为孤立任务所存在的局限性。
• 利用语义匹配与目标共同分割之间的互补性以提升性能。
• 开发一种无需人工标注对应点或目标掩码的端到端可训练模型。
• 通过共同分割监督减少背景杂波对语义匹配的负面影响。
• 在多样化的基准数据集上同时实现两项任务的优越性能。

提出的方法

• 该方法利用语义匹配生成的密集对应场来监督目标共同分割，通过在图像对之间强制预测掩码的一致性。
• 利用目标共同分割的预测结果来抑制背景杂波，从而提升语义匹配的鲁棒性与准确性。
• 模型在无需标注对应点或真实掩码监督的情况下进行端到端训练。
• 共享特征编码器处理图像对，以生成对应场与分割掩码。
• 损失函数结合了匹配与分割目标，跨任务监督增强了特征学习。
• 架构设计通过预测结果的迭代优化，联合优化两项任务。

实验结果

研究问题

• RQ1 语义匹配与目标共同分割之间的相互监督是否能提升两项任务的性能？
• RQ2 将对应场作为监督信号在多大程度上提升了共同分割中掩码的一致性？
• RQ3 共同分割在多大程度上减轻了背景杂波对语义匹配的不利影响？
• RQ4 联合模型是否能在匹配与分割基准上均优于独立模型？
• RQ5 在此联合学习设置中，缺乏标注对应点或掩码是否会影响性能？

主要发现

• 所提方法在五个基准数据集（TSS、Internet、PF-PASCAL、PF-WILLOW和SPair-71k）上均实现了最先进性能。
• 联合学习框架相比孤立方法，同时提升了语义匹配与目标共同分割的准确性。
• 该模型在无需人工标注对应点或目标掩码的情况下表现良好。
• 将对应场用作监督信号显著增强了图像对之间掩码的一致性。
• 目标共同分割的预测有效减少了背景杂波，从而提升了匹配的准确性。
• 端到端训练方案通过跨任务监督实现了有效的特征学习。