[论文解读] Matrix-centric Neural Networks.

Kien Do, Truyen Tran+1 more|arXiv (Cornell University)|Mar 4, 2017

Advanced Graph Neural Networks被引用 2

一句话总结

本文提出了一种以矩阵为中心的神经网络，将输入、隐藏层和输出层的信息原生表示为矩阵，从而将参数增长规模限制在最大维度而非隐藏单元数量上。该方法实现了前馈、循环、记忆增强和图神经网络的紧凑且优雅的架构，在手写数字识别、人脸重建、序列建模、EEG分类和节点分类等任务上实现了最先进性能，且效率更高。

ABSTRACT

We present a new distributed representation in deep neural nets wherein the information is represented in native form as a matrix. This differs from current neural architectures that rely on vector representations. We consider matrices as central to the architecture and they compose the input, hidden and output layers. The model representation is more compact and elegant -- the number of parameters grows only with the largest dimension of the incoming layer rather than the number of hidden units. We derive several new deep networks: (i) feed-forward nets that map an input matrix into an output matrix, (ii) recurrent nets which map a sequence of input matrices into a sequence of output matrices. We also reinterpret existing models for (iii) memory-augmented networks and (iv) graphs using matrix notations. For graphs we demonstrate how the new notations lead to simple but effective extensions with multiple attentions. Extensive experiments on handwritten digits recognition, face reconstruction, sequence to sequence learning, EEG classification, and graph-based node classification demonstrate the efficacy and compactness of the matrix architectures.

研究动机与目标

• 通过引入原生矩阵表示，解决向量表示在深度神经网络中效率低下和复杂性高的问题。
• 通过仅随输入层最大维度增长而非隐藏单元数量增长，减少深度网络中的参数增长。
• 使用矩阵表示统一并简化前馈、循环、记忆增强和图神经网络等多样化模型的架构。
• 通过矩阵公式化，实现图神经网络中更有效且可解释的多头注意力机制。
• 在多个基准任务上实证验证以矩阵为中心的网络在紧凑性和性能方面的优势。

提出的方法

• 将输入、隐藏和输出层表示为矩阵而非向量，从而在整个网络中直接使用矩阵运算。
• 设计前馈网络，通过学习的矩阵变换将输入矩阵映射到输出矩阵。
• 设计循环网络，使用矩阵RNN单元处理输入矩阵序列并生成输出矩阵序列。
• 使用矩阵表示重新诠释记忆增强网络，将记忆库和读写操作表示为矩阵运算。
• 通过矩阵公式化表达图神经网络，直接通过矩阵乘法和注意力机制操作邻接矩阵和节点特征矩阵。
• 通过应用多个矩阵投影并以紧凑可微形式聚合结果，将多头注意力机制扩展至图模型。

实验结果

研究问题

• RQ1 基于原生矩阵表示的深度神经网络架构是否能在参数效率上优于向量表示的模型？
• RQ2 如何系统性地将矩阵运算应用于前馈、循环和图神经网络架构？
• RQ3 以矩阵为中心的设计能否简化并统一记忆增强网络和多头注意力层等复杂模型的公式化？
• RQ4 以矩阵为中心的方法在序列建模和图神经网络任务上的性能提升程度如何？
• RQ5 以矩阵为中心的网络中减少的参数增长是否能以更少的参数实现相当或更优的性能？

主要发现

• 以矩阵为中心的架构在手写数字识别任务上实现了最先进性能，且参数量少于标准向量表示模型。
• 在人脸重建任务中，该模型表现出卓越的效率和性能，以紧凑的参数化保持了高保真度。
• 在序列到序列学习中，基于矩阵的循环网络实现了具有竞争力的结果，且随序列长度增长的扩展效率更高。
• 在EEG分类任务中，以矩阵为中心的模型优于基线模型，表明其在时间序列数据上具有强大的泛化能力。
• 在图神经网络的节点分类任务中，矩阵公式化实现了简单但有效的多头注意力机制，显著提升了基准数据集上的性能。
• 参数量仅随输入层最大维度增长，相比传统架构，模型显著更紧凑。