[论文解读] BiLingUNet: Image Segmentation by Modulating Top-Down and Bottom-Up Visual Processing with Referring Expressions

Ozan Arkan Can, İlker Kesen+1 more|arXiv (Cornell University)|Mar 28, 2020

Multimodal Machine Learning Applications参考文献 31被引用 5

一句话总结

BiLingUNet 提出了一种新颖的图像分割模型，通过引用表达式同时调制自底向上和自顶向下的视觉处理，其性能优于依赖简单语言条件融合的方法。通过采用比标准1x1卷积核更宽的、具有关系建模能力的卷积核，该模型在四个引用表达式数据集上实现了最先进性能。

ABSTRACT

We present BiLingUNet, a state-of-the-art model for image segmentation using referring expressions. BiLingUNet uses language to customize visual filters and outperforms approaches that concatenate a linguistic representation to the visual input. We find that using language to modulate both bottom-up and top-down visual processing works better than just making the top-down processing language-conditional. We argue that common 1x1 language-conditional filters cannot represent relational concepts and experimentally demonstrate that wider filters work better. Our model achieves state-of-the-art performance on four referring expression datasets.

研究动机与目标

• 通过更有效地将语言整合到视觉特征学习中，提升基于引用表达式的图像分割性能。
• 解决1x1语言条件卷积核在捕捉视觉关系概念方面的局限性。
• 探索利用语言上下文同时调制自底向上和自顶向下视觉路径的有效性。
• 证明更宽的卷积核能更优地表征视觉分割中的关系性语言概念。
• 在标准引用表达式分割基准上实现最先进性能。

提出的方法

• BiLingUNet 采用基于U-Net的架构，为自底向上和自顶向下视觉处理路径设计了双调制分支。
• 利用来自引用表达式的语言特征，动态调制两条路径中的视觉卷积核。
• 模型采用更宽的卷积核（超出1x1）以更好地表征语言中表达的关系性视觉概念。
• 调制通过可学习的注意力或门控机制实现，使视觉特征图基于语言输入进行条件化。
• 网络在引用表达式数据集上端到端训练，采用分割损失函数。
• 语言与视觉模态的特征通过动态滤波器生成实现融合，而非拼接。

实验结果

研究问题

• RQ1 与仅自顶向下条件化相比，使用语言同时调制自底向上和自顶向下视觉路径是否能提升分割性能？
• RQ2 1x1语言条件卷积核是否无法有效表征引用表达式中的关系性视觉概念？
• RQ3 与1x1卷积核相比，使用更宽的卷积核是否能在语言引导的图像分割中带来更好的性能？
• RQ4 基于引用表达式的动态滤波器调制能否在标准基准上实现最先进结果？
• RQ5 BiLingUNet 与采用特征拼接方式融合语言和视觉特征的模型相比表现如何？

主要发现

• BiLingUNet 在四个引用表达式分割数据集上实现了最先进性能，优于先前方法。
• 使用语言同时调制自底向上和自顶向下视觉路径，相比仅调制自顶向下路径，能带来更高的分割准确率。
• 与标准1x1卷积核相比，更宽的卷积核在捕捉引用表达式中的关系性概念方面更为有效。
• 该模型表明，1x1语言条件卷积核不足以表征语言中复杂的空间或关系性关系。
• 动态调制机制相比特征拼接，能实现对目标图像区域更精确的定位。
• 消融实验确认，对视觉路径的联合调制显著优于基线融合策略。