[论文解读] Learning the Best Pooling Strategy for Visual Semantic Embedding

Jiacheng Chen, Hexiang Hu+3 more|arXiv (Cornell University)|Nov 9, 2020

Multimodal Machine Learning Applications参考文献 53被引用 23

一句话总结

本文提出广义池化算子（GPO），一种可学习的池化模块，能够自动发现视觉与文本特征在视觉语义嵌入（VSE）模型中的最优池化策略。通过基于位置编码的轻量级序列模型学习池化系数，GPO 在计算开销极小的情况下，优于复杂聚合器，并在图像与视频文本检索基准上取得最先进性能。

ABSTRACT

Visual Semantic Embedding (VSE) is a dominant approach for vision-language retrieval, which aims at learning a deep embedding space such that visual data are embedded close to their semantic text labels or descriptions. Recent VSE models use complex methods to better contextualize and aggregate multi-modal features into holistic embeddings. However, we discover that surprisingly simple (but carefully selected) global pooling functions (e.g., max pooling) outperform those complex models, across different feature extractors. Despite its simplicity and effectiveness, seeking the best pooling function for different data modality and feature extractor is costly and tedious, especially when the size of features varies (e.g., text, video). Therefore, we propose a Generalized Pooling Operator (GPO), which learns to automatically adapt itself to the best pooling strategy for different features, requiring no manual tuning while staying effective and efficient. We extend the VSE model using this proposed GPO and denote it as VSE$\infty$. Without bells and whistles, VSE$\infty$ outperforms previous VSE methods significantly on image-text retrieval benchmarks across popular feature extractors. With a simple adaptation, variants of VSE$\infty$ further demonstrate its strength by achieving the new state of the art on two video-text retrieval datasets. Comprehensive experiments and visualizations confirm that GPO always discovers the best pooling strategy and can be a plug-and-play feature aggregation module for standard VSE models. Code and pre-trained models are available at https://vse-infty.github.io.

研究动机与目标

• 解决在VSE模型中针对不同数据模态和特征提取器手动调优池化函数的挑战。
• 开发一种即插即用的特征聚合模块，可自动适应最佳池化策略，无需手动调整超参数。
• 通过用可学习的广义池化机制替代复杂聚合器，提升VSE性能，同时保持高效性。
• 证明当正确选择时，简单但精心设计的池化函数可超越复杂聚合器，并实现该选择过程的自动化。

提出的方法

• 提出广义池化算子（GPO），一种参数化池化层，可学习为排序后的特征向量生成最优池化系数。
• 使用正弦位置编码表示位置索引，使模型能够泛化至可变大小的特征。
• 训练基于BiGRU的系数生成器，根据位置和嵌入上下文为每个特征元素预测权重。
• 将GPO集成至VSE框架中作为VSE∞，在视觉与文本分支中均替换标准聚合器。
• 使用基于边距的三元组排序损失并结合在线难样本挖掘进行优化，以提升对比学习性能。
• 在训练过程中应用大小增强，以提升对未见特征尺寸的泛化能力。

实验结果

研究问题

• RQ1 简单的可学习池化算子是否能在VSE模型中超越复杂特征聚合器？
• RQ2 是否可能在无需手动调优的情况下，自动发现不同数据模态和特征提取器的最优池化策略？
• RQ3 广义池化算子在图像、文本和视频输入中对未见特征尺寸的泛化能力如何？
• RQ4 在VSE背景下，添加逐维或数据相关池化系数是否能提升性能？
• RQ5 所提出的GPO是否能通过极少调整有效迁移至视频文本检索任务？

主要发现

• GPO在不同数据模态和特征提取器上一致发现最佳池化策略，经与穷举网格搜索对比验证。
• 采用GPO的VSE∞在COCO和Flickr30K图像文本检索基准上达到最先进性能，优于先前的SOTA VSE方法。
• 在MSR-VTT和VaTeX视频文本检索数据集上，VSE∞的变体仅通过简单适配即取得新的最先进结果。
• 在合成模式生成任务中，Cos/Sin+BiGRU设计的GPO在RMSE指标上表现最佳，优于Interp和Index+BiGRU等替代方案。
• 添加逐维池化系数或数据相关生成器并未提升性能，表明更简单的结构已足够且更不易过拟合。
• 结果证实，精心选择的简单池化函数（如最大池化）可超越复杂聚合器，且GPO能有效自动化该选择过程。