[论文解读] Meta Module Network for Compositional Visual Reasoning

Wenhu Chen, Zhe Gan+4 more|arXiv (Cornell University)|Oct 8, 2019

Multimodal Machine Learning Applications参考文献 47被引用 11

一句话总结

本文提出元模块网络（MMN），一种新颖的神经模块网络架构，通过共享的元模块从函数配方中动态实例化特定任务的模块，实现可扩展且泛化能力强的视觉推理。通过将函数编码到嵌入空间，MMN能够泛化到未见过的函数，同时保持恒定的模型复杂度，在GQA和CLEVR数据集上优于先前的NMN模型，并在未见函数上展现出强大的零样本泛化能力。

ABSTRACT

Neural Module Network (NMN) exhibits strong interpretability and compositionality thanks to its handcrafted neural modules with explicit multi-hop reasoning capability. However, most NMNs suffer from two critical drawbacks: 1) scalability: customized module for specific function renders it impractical when scaling up to a larger set of functions in complex tasks; 2) generalizability: rigid pre-defined module inventory makes it difficult to generalize to unseen functions in new tasks/domains. To design a more powerful NMN architecture for practical use, we propose Meta Module Network (MMN) centered on a novel meta module, which can take in function recipes and morph into diverse instance modules dynamically. The instance modules are then woven into an execution graph for complex visual reasoning, inheriting the strong explainability and compositionality of NMN. With such a flexible instantiation mechanism, the parameters of instance modules are inherited from the central meta module, retaining the same model complexity as the function set grows, which promises better scalability. Meanwhile, as functions are encoded into the embedding space, unseen functions can be readily represented based on its structural similarity with previously observed ones, which ensures better generalizability. Experiments on GQA and CLEVR datasets validate the superiority of MMN over state-of-the-art NMN designs. Synthetic experiments on held-out unseen functions from GQA dataset also demonstrate the strong generalizability of MMN. Our code and model are released in Github https://github.com/wenhuchen/Meta-Module-Network.

研究动机与目标

• 为解决神经模块网络（NMNs）在可扩展性和泛化能力方面的局限性，后者需为每个函数手工设计模块，且无法泛化到未见函数。
• 设计一种灵活的架构，使模型复杂度在函数数量增加时保持恒定。
• 通过利用函数配方嵌入中的结构相似性，实现对未见函数的零样本泛化。
• 在提升实际视觉推理任务实用性的同时，保持NMNs的可解释性和组合性。

提出的方法

• 训练一个元模块，根据输入的函数配方（键值对）编码为连续嵌入，动态实例化实例模块。
• 将函数配方嵌入到向量空间，使元模块能够通过参数共享生成特定于函数的模块。
• 采用教师-学生训练框架提供中间监督：符号教师生成正确的中间输出，引导学生实例模块。
• 模型使用端到端的粗粒度到细粒度语义解析器，将问题转换为可执行程序，再通过实例化模块的执行图执行。
• 通过模块监督（基于教师信号）和答案监督的联合训练，确保推理准确性和泛化能力。
• 该架构支持零样本推理，通过将未见函数的配方嵌入，并基于与已见函数的相似性生成新模块。

实验结果

研究问题

• RQ1 一个单一的元模块是否能动态实例化多样化、任务特定的模块，且在函数集合增长时不会增加模型复杂度？
• RQ2 模型是否能通过利用与已见函数的嵌入相似性，泛化到未见函数？
• RQ3 所提出的方法是否在提升可扩展性和泛化能力的同时，保持强可解释性和组合性，优于标准NMNs？
• RQ4 与仅使用端到端答案监督相比，模块监督在提升推理准确性方面有多有效？

主要发现

• MMN在GQA和CLEVR上达到最先进性能，优于现有的基于NMN的模型。
• 在模块监督（η = 0.5）下，MMN在参数量与单层MCAN相近的情况下，性能仍优于6层MCAN。
• 在未见函数的保留测试中，MMN在verify_shape任务上达到61%的零样本准确率，在choose_name任务上达到79%，远超随机基线（5%）。
• 模型在中间推理步骤上达到59% Recall@1和73% Recall@2，表明与符号教师输出高度对齐。
• 消融实验表明，4个训练周期的自举训练可提升性能，且模块监督对高准确率至关重要。
• 通过利用配方嵌入中的结构相似性，该方法能有效泛化到未见函数，展现出稳健的零样本能力。