[论文解读] MaIL: A Unified Mask-Image-Language Trimodal Network for Referring Image Segmentation

Zizhang Li, Mengmeng Wang+2 more|arXiv (Cornell University)|Nov 21, 2021

Multimodal Machine Learning Applications参考文献 37被引用 8

一句话总结

MaIL 提出了一种统一的掩码-图像-语言三模态变换器网络，用于指代图像分割，用深层模态交互编码器替代传统的编码器-融合-解码器流水线，联合处理图像、语言和实例掩码输入。通过将掩码作为第一类模态引入，并采用自适应选择策略，MaIL 在 RefCOCO、RefCOCO+ 和 G-Ref 基准上实现了最先进性能，相对提升达 3%-10%。

ABSTRACT

Referring image segmentation is a typical multi-modal task, which aims at generating a binary mask for referent described in given language expressions. Prior arts adopt a bimodal solution, taking images and languages as two modalities within an encoder-fusion-decoder pipeline. However, this pipeline is sub-optimal for the target task for two reasons. First, they only fuse high-level features produced by uni-modal encoders separately, which hinders sufficient cross-modal learning. Second, the uni-modal encoders are pre-trained independently, which brings inconsistency between pre-trained uni-modal tasks and the target multi-modal task. Besides, this pipeline often ignores or makes little use of intuitively beneficial instance-level features. To relieve these problems, we propose MaIL, which is a more concise encoder-decoder pipeline with a Mask-Image-Language trimodal encoder. Specifically, MaIL unifies uni-modal feature extractors and their fusion model into a deep modality interaction encoder, facilitating sufficient feature interaction across different modalities. Meanwhile, MaIL directly avoids the second limitation since no uni-modal encoders are needed anymore. Moreover, for the first time, we propose to introduce instance masks as an additional modality, which explicitly intensifies instance-level features and promotes finer segmentation results. The proposed MaIL set a new state-of-the-art on all frequently-used referring image segmentation datasets, including RefCOCO, RefCOCO+, and G-Ref, with significant gains, 3%-10% against previous best methods. Code will be released soon.

研究动机与目标

• 为解决现有双模态编码器-融合-解码器流水线在指代图像分割中的局限性，包括跨模态交互不足和预训练任务错位的问题。
• 通过显式建模实例级特征来提升分割精度，这些特征在先前方法中常被低估。
• 将单模态特征提取与跨模态融合统一为单一深层模态交互编码器，消除对独立预训练单模态编码器的需求。
• 探究将预分割的实例掩码作为第三种模态引入，以增强细粒度定位的有效性。
• 在解码器中开发一种选择性掩码融合机制，自适应地选择最相关的掩码表示以优化预测结果。

提出的方法

• 提出一种统一的编码器-解码器架构，其中图像、语言和掩码特征在单一深层模态交互变换器编码器中同时处理。
• 将实例掩码作为专用模态引入，实现在图像、语言和掩码模态之间低层与高层特征的显式跨模态交互。
• 通过统一的模态交互机制替代独立的单模态编码器，消除对单模态编码器的需求，降低架构复杂度并提升模态对齐效果。
• 在解码器中采用自适应掩码选择策略，从 K 个候选掩码中选择得分最高的掩码表示以优化最终分割输出。
• 使用多模态预训练权重作为统一编码器，使表示与目标多模态任务对齐，避免单模态预训练带来的不一致性。
• 在编码器中应用可学习的注意力机制，实现三种模态之间的动态、多层级特征交互，提升表示质量。

实验结果

研究问题

• RQ1 将传统的编码器-融合-解码器流水线替换为统一的模态交互编码器，是否能提升指代图像分割的性能？
• RQ2 将实例掩码作为第一类模态引入，是否能带来更好的实例级特征学习与更精细的分割结果？
• RQ3 与简单的池化或加权求和方法相比，自适应掩码选择策略在选择相关掩码特征方面表现如何？
• RQ4 在使用掩码裁剪图像而非完整图像时，背景信息与位置上下文的影响是什么？
• RQ5 统一的三模态框架是否能在多样化的指代图像分割基准上超越现有双模态方法？

主要发现

• MaIL 在 RefCOCO、RefCOCO+ 和 G-Ref 基准上均达到最先进性能，相比之前最佳方法有 3%-10% 的相对提升。
• 将掩码作为独立模态引入后，相比双模态基线，IoU 提升了 2.89%，证明了显式建模实例级特征的优势。
• 使用掩码裁剪图像（变体 2）导致性能显著下降，原因是背景上下文丢失以及对预分割掩码质量的过度依赖。
• 所提出的自适应掩码选择策略相比不使用掩码特征提升了 2.57%，且优于平均池化、最大池化和加权求和策略。
• 可视化结果证实，所选掩码与指代对象高度相关，且最终预测能修正预生成掩码中的缺陷，如冗余分割区域。
• 具有深层模态交互的统一编码器-解码器流水线，相比传统两阶段融合方法，能实现更有效的跨模态表示学习。