[论文解读] Learning Multimodal Data Augmentation in Feature Space

Zichang Liu, Zhiqiang Tang+5 more|arXiv (Cornell University)|Dec 29, 2022

Multimodal Machine Learning Applications被引用 9

一句话总结

LeMDA 是一种新颖的端到端方法，直接在特征空间中学习多模态数据增强，可直接联合增强多种模态（如图像、文本和表格数据），而无需针对特定模态进行设计。通过学习一种一致且具备语义感知能力的增强策略，LeMDA 在多个基准测试中实现了最先进性能，有效保持了跨模态关系。

ABSTRACT

The ability to jointly learn from multiple modalities, such as text, audio, and visual data, is a defining feature of intelligent systems. While there have been promising advances in designing neural networks to harness multimodal data, the enormous success of data augmentation currently remains limited to single-modality tasks like image classification. Indeed, it is particularly difficult to augment each modality while preserving the overall semantic structure of the data; for example, a caption may no longer be a good description of an image after standard augmentations have been applied, such as translation. Moreover, it is challenging to specify reasonable transformations that are not tailored to a particular modality. In this paper, we introduce LeMDA, Learning Multimodal Data Augmentation, an easy-to-use method that automatically learns to jointly augment multimodal data in feature space, with no constraints on the identities of the modalities or the relationship between modalities. We show that LeMDA can (1) profoundly improve the performance of multimodal deep learning architectures, (2) apply to combinations of modalities that have not been previously considered, and (3) achieve state-of-the-art results on a wide range of applications comprised of image, text, and tabular data.

研究动机与目标

• 为解决多模态学习中缺乏有效数据增强技术的问题，即标准单模态增强会破坏模态之间的语义对齐。
• 开发一种通用方法，以联合方式增强多种模态，同时保持其语义关系和标签一致性。
• 支持任意模态组合的增强，包括以往未被考虑的模态组合，如表格数据与图像数据。
• 在不依赖手工设计变换的前提下，提升多模态学习中模型的泛化能力和鲁棒性。

提出的方法

• LeMDA 在多模态编码器的潜在特征空间中学习联合增强策略，使用变分自编码器（VAE）生成增强后的特征。
• 采用一致性正则化项，促使模型对原始特征和增强特征输出相同的预测结果，从而保持语义结构。
• 使用基于置信度的掩码机制，在计算一致性损失时过滤掉低置信度的训练样本，提升训练稳定性和准确性。
• 增强网络支持 MLP-VAE 和 Attention-VAE 两种架构，其中 MLP-VAE 在大多数设置中表现更优。
• 该框架与模态无关，无需对跨模态关系（如模态互补或冗余）做任何假设。
• 增强过程在训练期间端到端应用，目标模型被训练为对所学习的增强具有不变性。

实验结果

研究问题

• RQ1 是否可以设计一种统一且可学习的数据增强策略，有效适用于图像、文本和表格数据等多样化模态？
• RQ2 在特征空间中进行联合增强是否优于分别对单个模态进行增强，在模型泛化能力和准确率方面表现更优？
• RQ3 LeMDA 在不同跨模态关系（包括互补和完全相关模态）下的表现如何？
• RQ4 基于学习的增强策略是否能超越手工设计的、针对特定模态的增强方法，尤其是在表格数据等非视觉模态中？
• RQ5 哪些超参数（如置信度掩码阈值）显著影响一致性正则化器的性能？

主要发现

• LeMDA 在广泛的多模态基准测试中实现了最先进性能，涵盖图像-文本任务（如 SNLI-VE）、表格数据任务（如 Wine Reviews）以及纯文本任务（如 News Channel）。
• 在 SNLI-VE 基准上，LeMDA 将准确率提升至 0.8836，显著优于基线方法和单模态增强方法。
• 采用 α=0.5 的置信度掩码比无掩码（α=0）的设置带来更高的端到端准确率，且在不同 α 值下性能表现稳定。
• 一致性正则化项在特征空间中的表现优于 L2 正则化，因为它直接利用模型预测来保持语义一致性。
• 无论模态间关系是互补还是冗余，LeMDA 在所有测试数据集上均一致提升性能。
• MLP-VAE 架构在大多数设置中优于 Attention-VAE，可能是因为其在融合层中对拼接后的潜在表示具有更好的处理能力。