[论文解读] Learning Deep Matrix Representations

Kien Do, Truyen Tran+1 more|arXiv (Cornell University)|Mar 4, 2017

Advanced Graph Neural Networks参考文献 22被引用 9

一句话总结

本文提出了一种基于矩阵的深度神经网络，其中所有表示——输入、隐藏层和输出——均为矩阵而非向量，采用一种新颖的矩阵到矩阵的变换 $ Y = \sigma(U^T X V + B) $，该方法减少了参数量并保留了结构信息。该方法在序列建模、EEG分类和图学习等任务中实现了更紧凑的模型并提升了性能，尤其通过多头注意力机制和高效的图卷积实现。

ABSTRACT

We present a new distributed representation in deep neural nets wherein the information is represented in native form as a matrix. This differs from current neural architectures that rely on vector representations. We consider matrices as central to the architecture and they compose the input, hidden and output layers. The model representation is more compact and elegant -- the number of parameters grows only with the largest dimension of the incoming layer rather than the number of hidden units. We derive several new deep networks: (i) feed-forward nets that map an input matrix into an output matrix, (ii) recurrent nets which map a sequence of input matrices into a sequence of output matrices. We also reinterpret existing models for (iii) memory-augmented networks and (iv) graphs using matrix notations. For graphs we demonstrate how the new notations lead to simple but effective extensions with multiple attentions. Extensive experiments on handwritten digits recognition, face reconstruction, sequence to sequence learning, EEG classification, and graph-based node classification demonstrate the efficacy and compactness of the matrix architectures.

研究动机与目标

• 为解决基于向量的表示在深度学习中因丢失结构信息且在处理双向或关联数据时需要大量参数而带来的局限性。
• 构建一个统一框架，使神经网络的所有组件——输入、隐藏状态和输出——自然地以矩阵形式表示。
• 证明矩阵表示能够实现更高效的参数化并提升泛化能力，尤其在具有固有矩阵结构的任务（如EEG、图和序列）中表现更优。
• 展示矩阵网络如何自然支持多头注意力机制，并可重新解释现有模型（如记忆增强网络和图卷积）

提出的方法

• 提出核心变换 $ Y = \sigma(U^T X V + B) $，其中输入 $ X $、输出 $ Y $ 及参数 $ U $、$ V $、$ B $ 均为矩阵，实现结构化且参数高效的训练。
• 使用行映射和列映射矩阵 $ U $ 和 $ V $，在输入矩阵的行和列上实现软注意力，支持多头注意力机制。
• 通过将向量运算替换为矩阵运算，推导出基于矩阵的前馈网络和循环网络，从而在整个网络中保持数据结构。
• 将记忆增强网络和图神经网络重新解释为矩阵网络的特例，表明现有模型（如GCN）可通过所提出的 mat2mat 层进行表达。
• 通过将谱图卷积表示为矩阵形式，提出一种参数高效的图卷积机制，实现可扩展且可解释的消息传递。
• 在图卷积中采用重归一化技巧以稳定训练，类似于 Kipf & Welling (2016) 的方法，但应用于矩阵表示框架中。

实验结果

研究问题

• RQ1 在双向或二分图数据中，矩阵表示是否比向量化表示更能保留结构信息？
• RQ2 与标准的基于向量的全连接层相比，所提出的矩阵到矩阵变换 $ Y = \sigma(U^T X V + B) $ 在参数效率和性能方面表现如何？
• RQ3 在序列建模和EEG分类等时间序列任务中，矩阵循环网络是否能以更少的参数优于基于向量的RNN？
• RQ4 矩阵表示如何自然地支持序列和图任务中的多头注意力机制？
• RQ5 能否通过所提出的矩阵网络框架系统性地重新解释和扩展现有的图神经网络？

主要发现

• 基于矩阵的前馈网络在MNIST和人脸数据上以更少的参数实现了更好的重建性能，表明其具有向量模型所不具备的结构正则化能力。
• 矩阵循环网络在序列到序列学习和EEG信号分类任务中优于标准RNN，以显著更少的参数实现了更高的准确率。
• 基于矩阵的图模型在引文网络（如Cora、PubMed）上的节点分类任务中表现更优，多头注意力机制进一步提升了单头注意力的性能。
• 所提出的矩阵表示使得图卷积的表达更加紧凑且可解释，与谱图卷积（spectral GCN）形式高度一致，同时支持高效实现。
• 在矩阵网络中，参数量仅随输入矩阵的最大维度增长，而非随隐藏单元数量增长，因此在高维设置下实现了显著的效率提升。
• 实验结果证实，矩阵表示能够有效支持注意力机制和记忆访问，尤其在涉及序列或关系型数据的任务中表现突出。