[论文解读] DeMIAN: Deep Modality Invariant Adversarial Network

Kuniaki Saito, Yusuke Mukuta+2 more|arXiv (Cornell University)|Dec 23, 2016

Domain Adaptation and Few-Shot Learning参考文献 31被引用 4

一句话总结

DeMIAN 提出了一种深度对抗网络，通过对抗训练在图像和文本模态之间对齐分布，学习模态不变表示，结合成对样本关系与域自适应原理。该方法在 CUB-200-2011 和 SUN Attribute 数据集上的零样本学习任务中达到最先进性能，准确率相比先前方法提升 2-3%。

ABSTRACT

Obtaining common representations from different modalities is important in that they are interchangeable with each other in a classification problem. For example, we can train a classifier on image features in the common representations and apply it to the testing of the text features in the representations. Existing multi-modal representation learning methods mainly aim to extract rich information from paired samples and train a classifier by the corresponding labels; however, collecting paired samples and their labels simultaneously involves high labor costs. Addressing paired modal samples without their labels and single modal data with their labels independently is much easier than addressing labeled multi-modal data. To obtain the common representations under such a situation, we propose to make the distributions over different modalities similar in the learned representations, namely modality-invariant representations. In particular, we propose a novel algorithm for modality-invariant representation learning, named Deep Modality Invariant Adversarial Network (DeMIAN), which utilizes the idea of Domain Adaptation (DA). Using the modality-invariant representations learned by DeMIAN, we achieved better classification accuracy than with the state-of-the-art methods, especially for some benchmark datasets of zero-shot learning.

研究动机与目标

• 学习模态不变表示，以实现在不同模态（如图像和文本）之间无需完全配对标注数据即可进行分类。
• 通过在不完整数据（如配对图像与文本，或未配对的标注数据）上进行训练，降低收集完全标注多模态数据集的高成本。
• 通过使不同模态表示的分布更加相似，提升零样本学习性能，从而实现对未见模态的泛化能力。
• 在统一的对抗框架中结合域自适应（分布对齐）与多模态学习（成对样本匹配）的优势。

提出的方法

• DeMIAN 使用生成网络 G 将来自不同模态（如图像和文本）的输入映射到共享的、模态不变的表示空间。
• 它采用模态判别器 D，用于区分来自不同模态的表示，从而促使生成器学习到在模态间难以区分的特征。
• 生成器通过最小化共享空间中成对样本（如图像与其对应文本）之间的距离进行训练，使用余弦距离，超参数 λ=10。
• 应用对抗训练，使生成器最大化判别器的误差，从而促进学习域不变表示。
• 该框架为每种模态使用独立的编码器，同时在判别器中共享隐藏层，以强制实现模态无关的特征学习。
• 使用交叉熵损失进行分类，结合对抗损失，采用权重衰减和固定的 2.0×10⁻⁴ 学习率，进行端到端训练。

实验结果

研究问题

• RQ1 能否从不完整多模态数据中有效学习模态不变表示，其中仅存在部分标签或成对样本？
• RQ2 与现有方法相比，通过模态间分布对齐的对抗训练是否能提升零样本分类性能？
• RQ3 成对样本匹配与域自适应原理的结合是否能带来跨模态迁移学习中更好的泛化能力？
• RQ4 当仅使用少量标注样本进行训练时，所提出方法的鲁棒性如何？

主要发现

• 在 CUB-200-2011 数据集上，DeMIAN 相较于先前方法，将零样本识别准确率提升了约 3%，达到最先进水平。
• 在 SUN Attribute 数据集上，DeMIAN 将零样本准确率提升了约 2%，优于先前最先进方法（后者需使用模型集成）。
• 在 SUN Attribute 基于检索的分类任务中，DeMIAN 在除猫-卡车外的所有类别对上均优于 Socher 等人 [30]，展现出强大的泛化能力。
• t-SNE 可视化结果表明，DeMIAN 学习到的表示在类别上聚类更紧密，类间分离更清晰，优于 VGG 特征。
• 即使仅使用 0.5% 的标注样本，DeMIAN 的性能仍可与最先进方法 [38] 保持相当，显示出优异的样本效率。
• 模型表现出有效的分布对齐，判别器在共享表示空间中无法区分不同模态，验证了其有效性。