[论文解读] Context-Aware Multipath Networks

Dumindu Tissera, Kumara Kahatapitiya+3 more|arXiv (Cornell University)|Jul 26, 2019

Advanced Neural Network Applications参考文献 37被引用 6

一句话总结

该论文提出上下文感知多路径网络（CAMNet），一种具有可学习、数据相关路由机制的多路径卷积神经网络，能够根据输入上下文动态分配特征到并行张量。CAMNet在图像分类和像素标注任务中优于单路径、更宽或更深的网络，通过实现上下文感知的端到端流量控制以及在领域特定特征与共享特征之间的高效资源共享，提升了性能。

ABSTRACT

Making a single network effectively address diverse contexts---learning the variations within a dataset or multiple datasets---is an intriguing step towards achieving generalized intelligence. Existing approaches of deepening, widening, and assembling networks are not cost effective in general. In view of this, networks which can allocate resources according to the context of the input and regulate flow of information across the network are effective. In this paper, we present Context-Aware Multipath Network (CAMNet), a multi-path neural network with data-dependant routing between parallel tensors. We show that our model performs as a generalized model capturing variations in individual datasets and multiple different datasets, both simultaneously and sequentially. CAMNet surpasses the performance of classification and pixel-labeling tasks in comparison with the equivalent single-path, multi-path, and deeper single-path networks, considering datasets individually, sequentially, and in combination. The data-dependent routing between tensors in CAMNet enables the model to control the flow of information end-to-end, deciding which resources to be common or domain-specific.

研究动机与目标

• 解决训练单一神经网络以在具有不同分布和上下文的多个数据集上实现泛化的问题。
• 克服通过加深或加宽网络来处理多样化数据分布的局限性，此类方法效率低下。
• 实现动态、上下文感知的特征路由，使单一模型能够选择性地使用共享路径或领域特定路径。
• 通过在持续学习中保留先前学习领域的知识并适应新领域，提升性能。
• 证明可学习路由而非固定架构，是深度网络中实现有效多领域泛化的关键。

提出的方法

• CAMNet在每一层采用多个并行张量以提取多样化的特征表示，从而灵活适应不同输入上下文。
• 采用可学习、数据相关的路由机制，根据输入的上下文动态将输入数据分配到特定张量，使用具有可训练参数的软路由门。
• 每一层中的张量均预测其对下一层所有张量的激活，从而实现在网络中实现上下文感知的流量调控。
• 通过可微分门实现路由，调制特征流动，支持整个架构的端到端训练。
• 网络在分类（使用全连接头）和分割（使用编码器-解码器结构）两种设置下进行评估。
• 性能与单路径、多路径及更深单路径基线模型进行比较，包括有无路由机制的消融实验。

实验结果

研究问题

• RQ1 能否通过统一架构使单一神经网络有效学习来自具有不同数据分布的多个数据集？
• RQ2 在并行张量之间采用基于数据的路由是否能提升性能，相比固定或无路由的多路径网络？
• RQ3 在学习新领域时，CAMNet在持续学习场景下对先前学习数据集的性能保持能力如何？
• RQ4 CAMNet中的并行张量是否学习了不同的特征表示，还是重复了相同信息？
• RQ5 为平衡性能与模型效率，最优的并行张量数量是多少？

主要发现

• 由于具备上下文感知路由机制，CAMNet在单个数据集（包括MNIST、CIFAR-10和Cityscapes）上的表现优于等效的单路径和多路径网络。
• 在联合训练多个数据集时，CAMNet的整体准确率优于基线模型，且在不同领域间激活路径存在明显差异。
• 在持续学习场景中，CAMNet保持了较强的性能，相比标准网络更好地保留了早期领域知识。
• 并行张量的数量（如CAMNet3与CAMNet4）影响性能，其中CAMNet3在多数单个数据集中表现出饱和，而CAMNet4在联合训练和持续学习中仅获得微小提升。
• 并行卷积层的权重直方图显示不同分布，证实不同路径学习了不同的特征表示，而非冗余特征。
• 路由机制减少了冗余：若无可学习门，多路径网络中的并行张量会学习相似特征，而CAMNet的路由机制实现了选择性、上下文相关的特征利用。