[论文解读] Learning to Compose Topic-Aware Mixture of Experts for Zero-Shot Video Captioning

Xin Wang, Jiawei Wu+3 more|arXiv (Cornell University)|Nov 7, 2018

Multimodal Machine Learning Applications参考文献 41被引用 5

一句话总结

该论文提出了一种主题感知的专家混合模型（Topic-Aware Mixture of Experts, TAMoE），用于零样本视频字幕生成。该方法基于从外部文本语料库中提取的主题嵌入，动态组合专门的字幕生成专家。通过在不同主题间迁移语义知识，该方法在未见动作上实现了最先进性能，在'磨刀'任务上达到43.63的CIDEr得分，显著优于基线模型（24.77）。

ABSTRACT

Although promising results have been achieved in video captioning, existing models are limited to the fixed inventory of activities in the training corpus, and do not generalize to open vocabulary scenarios. Here we introduce a novel task, zero-shot video captioning, that aims at describing out-of-domain videos of unseen activities. Videos of different activities usually require different captioning strategies in many aspects, i.e. word selection, semantic construction, and style expression etc, which poses a great challenge to depict novel activities without paired training data. But meanwhile, similar activities share some of those aspects in common. Therefore, We propose a principled Topic-Aware Mixture of Experts (TAMoE) model for zero-shot video captioning, which learns to compose different experts based on different topic embeddings, implicitly transferring the knowledge learned from seen activities to unseen ones. Besides, we leverage external topic-related text corpus to construct the topic embedding for each activity, which embodies the most relevant semantic vectors within the topic. Empirical results not only validate the effectiveness of our method in utilizing semantic knowledge for video captioning, but also show its strong generalization ability when describing novel activities.

研究动机与目标

• 解决现有视频字幕模型因依赖配对训练数据而无法泛化至新型未见动作的局限性。
• 在无任何新型动作配对训练样本的情况下，实现对域外视频的准确字幕生成。
• 利用外部文本知识，通过主题感知的专家组合机制，指导未见动作的字幕生成。
• 通过建模相似动作间的共享语义模式，提升开放词汇视频字幕的泛化能力。
• 在标准化基准设置下，形式化并评估零样本视频字幕任务。

提出的方法

• 该模型采用专家混合（MoE）架构，包含一组学习从潜在特征中提取不同字幕策略的原始、任务特定专家。
• 主题感知门控网络根据学习到的主题嵌入选择并组合专家，实现基于视频活动的动态模型组合。
• 主题嵌入通过使用与每项活动相关的TF-IDF加权词从外部文本语料库中提取，捕捉未见动作的语义先验。
• 门控函数端到端训练，以基于主题嵌入预测专家权重，实现隐式的知识迁移。
• 模型采用序列到序列框架并结合注意力机制，其中MoE层替代标准解码器头，以生成多样且上下文恰当的字幕。
• 通过调整专家数量及其维度，平衡不同配置下的模型容量，确保公平比较。

实验结果

研究问题

• RQ1 视频字幕模型能否为训练期间从未见过的活动生成准确描述？
• RQ2 如何有效整合来自外部文本语料库的语义知识，以提升视频字幕的零样本泛化能力？
• RQ3 与固定模型相比，动态专家组合机制在多大程度上能提升对新型活动的字幕质量？
• RQ4 使用主题感知门控是否能在提升域外活动性能的同时，保持对已见活动的强性能表现？
• RQ5 专家数量及其维度如何影响模型泛化至未见活动的能力？

主要发现

• TAMoE模型在'磨刀'任务上达到43.63的CIDEr得分，较基线模型（24.77）提升18.86分，证明其具备强大的零样本泛化能力。
• 平均而言，TAMoE在15项新型活动中中有12项优于基线模型，尤其在'含漱口水'（52.03 vs. 11.09）和'打鼓'（39.44 vs. 31.70）任务上表现显著提升。
• 8个专家、每维256的模型（n8_d256）表现最佳，表明最优容量平衡比单纯增大模型规模更为关键。
• 256个专家、每维128的模型（参数量约2720万）性能反而劣于n8_d256模型（参数量约1790万），表明专家数量增加存在收益递减现象。
• 定性分析表明，TAMoE能正确识别并描述基线模型无法识别的新型概念，如'围栏'、'含漱'和'磨刀'。
• 来自外部语料库的主题嵌入有效引导模型生成相关字幕，体现在关键词如'刀'、'磨刀石'和'漱口水'在前4项相关词中具有较高的TF-IDF权重。