[论文解读] How to find a good image-text embedding for remote sensing visual question answering?

Christel Chappuis, Sylvain Lobry+3 more|arXiv (Cornell University)|Sep 24, 2021

Multimodal Machine Learning Applications参考文献 29被引用 15

一句话总结

该论文评估了三种融合策略——逐元素相乘、多模态紧凑双线性（MCB）和多线性（MUTAN）——在遥感视觉问答（VQA）任务中的图像-文本嵌入表现。研究发现，与简单基线相比，MCB和MUTAN等更复杂的融合机制能显著提升准确率，其中MUTAN在参数量仅为一半的情况下实现了具有竞争力的性能，使其成为遥感数据VQA模型中计算效率更高的选择。

ABSTRACT

Visual question answering (VQA) has recently been introduced to remote sensing to make information extraction from overhead imagery more accessible to everyone. VQA considers a question (in natural language, therefore easy to formulate) about an image and aims at providing an answer through a model based on computer vision and natural language processing methods. As such, a VQA model needs to jointly consider visual and textual features, which is frequently done through a fusion step. In this work, we study three different fusion methodologies in the context of VQA for remote sensing and analyse the gains in accuracy with respect to the model complexity. Our findings indicate that more complex fusion mechanisms yield an improved performance, yet that seeking a trade-of between model complexity and performance is worthwhile in practice.

研究动机与目标

• 探究不同融合策略对遥感视觉问答（VQA）中图像-文本嵌入性能的影响。
• 评估在地球观测图像VQA中使用先进融合机制时，模型复杂度与准确率之间的权衡。
• 评估融合方法在域偏移情况下的泛化能力，特别是针对训练中未见的高分辨率城市场景。
• 确定如MCB和MUTAN等更复杂的融合机制是否在遥感VQA任务中优于如逐元素相乘等简单基线。

提出的方法

• 采用RSVQA数据集，包含低分辨率和超分辨率遥感图像，以及对应的自然语言问题与答案。
• 对比三种融合策略：逐元素相乘（基线）、多模态紧凑双线性（MCB）融合和多线性（MUTAN）融合，用于结合视觉与文本特征。
• 使用基于ResNet-50的深度神经网络进行图像特征提取，基于BERT的编码器进行问题编码，随后通过融合层进行处理。
• 通过调整MCB的输出维度（1,200至32,000）研究融合容量对性能的影响。
• 在低分辨率（Sentinel-2）和高分辨率（航拍）数据集上进行训练，包括纽约市（NYC）和费城（PHL）测试集，以评估域偏移的影响。
• 采用平均准确率（AA）、总体准确率（OA）和混淆矩阵评估性能，结果取三次随机运行的平均值以评估方差。

实验结果

研究问题

• RQ1 不同的融合机制——逐元素相乘、MCB和MUTAN——如何影响遥感图像VQA的准确率？
• RQ2 在遥感VQA中使用MCB和MUTAN融合时，模型复杂度（参数数量）与性能之间的权衡如何？
• RQ3 当在训练数据中未出现的新城市（如PHL）上进行测试时，融合策略在域偏移下的泛化能力如何？
• RQ4 MCB和MUTAN等复杂融合机制带来的性能提升是否在不同问题类型（如存在性、计数、比较类问题）中均持续存在？
• RQ5 MUTAN能否以显著更少的参数量实现与MCB相当或更优的性能，从而成为资源受限应用场景下的更高效替代方案？

主要发现

• 在低分辨率数据集上，MCB融合取得了最高准确率，当输出维度为8,000时，总体准确率达到86.36%，平均准确率为85.16%。
• 在高分辨率数据集（NYC和PHL）上，MCB和MUTAN均优于基线，且MUTAN在预测‘是/否’答案方面表现出更优的一致性。
• 由于域偏移影响图像特征提取，复杂融合机制带来的性能提升在高分辨率数据上较小，尤其在PHL测试集上更为明显。
• 尽管参数量更高，MCB在高分辨率数据上并未显著优于MUTAN，其准确率差异在各次运行的标准差范围内。
• MUTAN仅使用430万个参数（少于MCB的740万），便实现了具有竞争力的性能，使其成为无需牺牲准确率的更高效替代方案。
• 计数类问题仍是最具挑战性的，模型在正确预测小数量上表现不佳，混淆矩阵显示对角线条目频繁出现误判。