[论文解读] ReSTR: Convolution-free Referring Image Segmentation Using Transformers

Namyup Kim, Dong-Won Kim+3 more|arXiv (Cornell University)|Mar 31, 2022

Multimodal Machine Learning Applications被引用 10

一句话总结

ReSTR 提出首个无需卷积的基于 Transformer 的指代图像分割模型，利用视觉和语言 Transformer 编码器捕捉长距离依赖关系，并通过多模态融合 Transformer 实现灵活、自适应的跨模态交互。与先前方法相比，该模型在保持轻量化、高效解码器的同时，显著降低了计算成本，在所有公开基准上均实现了最先进性能。

ABSTRACT

Referring image segmentation is an advanced semantic segmentation task where target is not a predefined class but is described in natural language. Most of existing methods for this task rely heavily on convolutional neural networks, which however have trouble capturing long-range dependencies between entities in the language expression and are not flexible enough for modeling interactions between the two different modalities. To address these issues, we present the first convolution-free model for referring image segmentation using transformers, dubbed ReSTR. Since it extracts features of both modalities through transformer encoders, it can capture long-range dependencies between entities within each modality. Also, ReSTR fuses features of the two modalities by a self-attention encoder, which enables flexible and adaptive interactions between the two modalities in the fusion process. The fused features are fed to a segmentation module, which works adaptively according to the image and language expression in hand. ReSTR is evaluated and compared with previous work on all public benchmarks, where it outperforms all existing models.

研究动机与目标

• 解决卷积神经网络在指代图像分割中捕捉视觉和语言模态内长距离依赖关系的局限性。
• 通过实现视觉与语言特征之间灵活、自适应的交互，克服现有模型中僵化、手工设计的特征融合方式。
• 设计一种轻量化、高效的分割解码器，将 patch 级预测细化为高分辨率像素级输出。
• 在最小化计算成本的前提下，实现在公开基准上的最先进性能。

提出的方法

• ReSTR 使用视觉 Transformer 编码器从非重叠图像 patch 中提取特征，通过自注意力机制捕捉全局上下文。
• 它在词嵌入上应用语言 Transformer 编码器，以建模自然语言表达中的长距离依赖关系。
• 多模态融合 Transformer 编码器利用自注意力机制结合视觉与语言特征，实现模态间动态、自适应的交互。
• 融合编码器从类别种子嵌入生成自适应分类器，该分类器针对语言查询中描述的目标实体进行定制。
• 粗到细的分割解码器将自适应分类器应用于 patch 级特征，并通过线性层上采样，生成像素级分割掩码。
• 模型在融合编码器中使用参数共享，以极小的性能损失减少参数量。

Figure 1 : Our convolution-free architecture for Referring image Segmentation using TRansformer (ReSTR) takes a set of non-overlapped image patches and that of word embeddings, and captures intra- and inter-modality interactions by transformers. Then, ReSTR takes a class seed embedding to produce an

实验结果

研究问题

• RQ1 基于 Transformer 的无卷积架构是否能通过更好地建模长距离依赖关系，在指代图像分割中超越基于 CNN 的模型？
• RQ2 基于自注意力的多模态融合机制是否能实现比拼接-卷积融合更灵活、更自适应的视觉与语言特征交互？
• RQ3 轻量化、粗到细的分割解码器是否能在降低计算成本的同时实现高精度？
• RQ4 融合编码器中 Transformer 层数量如何影响性能与效率？

主要发现

• ReSTR 在所有四个公开的指代图像分割基准上均实现了最先进性能，优于先前模型。
• 在 Gref 验证集上，ReSTR 的 IoU 达到 54.48%，比表现第二好的方法（ACM）高出 2.55 个百分点。
• 模型将 MACs 降低至 52.29G（输入尺寸为 320×320），显著低于先前方法，同时保持高精度。
• 当与 4 层融合编码器配合使用时，分割解码器使 IoU 提升 1.67 个百分点，证明其在细化粗粒度预测方面的有效性。
• 融合编码器中的参数共享将参数量减少至 108.70M（从 122.87M 降低），性能仅下降 0.41%，展现出极强的效率。
• 定性结果表明，ReSTR 能够准确地定位多种语言表达中的目标区域，包括关系描述如 '在出租车后面'。

Figure 2 : ( Left ) Overall architecture of ReSTR. (a) The feature extractors for the two modalities are composed on transformer encoders, independently. (b) The multimodal fusion encoder consists of the two transformer encoders: the visual-linguistic encoder and the linguistic-seed encoder . (c) Th