[论文解读] Hypercorrelation Squeeze for Few-Shot Segmentation

Juhong Min, Dahyun Kang+1 more|arXiv (Cornell University)|Apr 4, 2021

Advanced Neural Network Applications参考文献 81被引用 55

一句话总结

HSNet 引入 Hypercorrelation Squeeze Networks，通过融合多层特征相关性和中心枢轴 4D 卷积，在标准基准上实现最先进的少样本语义分割。

ABSTRACT

Few-shot semantic segmentation aims at learning to segment a target object from a query image using only a few annotated support images of the target class. This challenging task requires to understand diverse levels of visual cues and analyze fine-grained correspondence relations between the query and the support images. To address the problem, we propose Hypercorrelation Squeeze Networks (HSNet) that leverages multi-level feature correlation and efficient 4D convolutions. It extracts diverse features from different levels of intermediate convolutional layers and constructs a collection of 4D correlation tensors, i.e., hypercorrelations. Using efficient center-pivot 4D convolutions in a pyramidal architecture, the method gradually squeezes high-level semantic and low-level geometric cues of the hypercorrelation into precise segmentation masks in coarse-to-fine manner. The significant performance improvements on standard few-shot segmentation benchmarks of PASCAL-5i, COCO-20i, and FSS-1000 verify the efficacy of the proposed method.

研究动机与目标

• 在有限监督下，推动并解决少样本语义分割中的泛化差距。
• 利用多样的中到高层 CNN 特征，构建丰富的跨图像对应关系。
• 开发高效的 4D 卷积框架，以粗到细的方式处理密集的超相关性。
• 通过中心枢轴 4D 核和金字塔编码器-解码器设计，实现实时推理。
• 通过简单的投票和掩码机制，将该方法扩展到 K-shot 设置。

提出的方法

• 通过对支撑图像的多层特征图进行掩蔽并与查询特征计算基于余弦的 4D 相关张量，构建超相关性。
• 在所选金字塔层之间拼接相关张量，形成表示多样语义和几何线索的超相关金字塔。
• 使用带挤压和混合块的 4D 卷积金字塔编码器，逐步将超相关性压缩为紧凑的上下文特征 Z。
• 用 2D 卷积上下文解码器对上下文特征进行解码，以预测查询图像的前景/背景掩码。
• 引入中心枢轴 4D 卷积，通过两个 2D 卷积分量减少 4D 核的复杂性，从而实现更轻量和更快的推断。
• 通过进行 K 次前向传播并执行像素级投票来获得最终掩码，扩展到 K-shot 设置。

实验结果

研究问题

• RQ1 如何利用支撑图像和查询图像之间多层次的多样特征相关性来实现准确的少样本分割？
• RQ2 是否可以将轻量级的高维卷积（4D）架构设计得足以实现实时推理，同时保持准确性？
• RQ3 基于金字塔的粗到细超相关性压缩是否在分割质量上优于单层或单尺度的方法？
• RQ4 在领域转移和不同骨干网络下，所提出的方法表现如何？
• RQ5 该方法是否能够自然扩展到 K-shot 设置而不损失一般性？

主要发现

• 提出 HSNet，在 PASCAL-5i、COCO-20i 和 FSS-1000 基准测试上取得新的最先进性能。
• 证明将多层次超相关性与 4D 卷积相结合，在 1-shot 和 5-shot 设置中带来显著提升。
• 引入中心枢轴 4D 卷积，提供相较于标准 4D 核的内存和时间高效替代，同时保持准确性。
• 显示对域转移具有鲁棒性（COCO 训练模型在 PASCAL-5i 上），结果具有竞争力且参数减少。
• 确认在金字塔中结合语义和几何线索相较于单层相关性能改善边界细化和定位。