[论文解读] Gated Complex Recurrent Neural Networks.

Moritz Wolter, Angela Yao|arXiv (Cornell University)|Jun 21, 2018

Neural Networks and Applications被引用 6

一句话总结

本文提出了一种新颖的复数门控循环神经网络（RNN），通过使用复数权重和门控机制来增强序列建模能力。通过引入保持范数的状态转移矩阵，该架构在合成记忆任务、加法任务以及人体运动预测任务中均实现了稳定训练和具有竞争力的性能，证明了复数表示在序列数据深度学习中的可行性。

ABSTRACT

Complex numbers have long been favoured for digital signal processing, yet complex representations rarely appear in deep learning architectures. RNNs, widely used to process time series and sequence information, could greatly benefit from complex representations. We present a novel complex gate recurrent cell. When used together with norm-preserving state transition matrices, our complex gated RNN exhibits excellent stability and convergence properties. We demonstrate competitive performance of our complex gated RNN on the synthetic memory and adding task, as well as on the real-world task of human motion prediction.

研究动机与目标

• 为了解决尽管复数表示在数字信号处理中已有长期应用，但在深度学习中仍使用有限的问题。
• 设计一种在复数域中运行的稳定且高效的循环神经网络架构。
• 通过复数门控和状态转移机制，使RNN能够更好地捕捉序列数据中的时间依赖关系。
• 在合成基准和真实世界序列建模任务（如人体运动预测）上评估所提出的模型。

提出的方法

• 提出一种新型复数门控循环单元，将标准门控循环单元（GRU）扩展至支持复数权重和激活值。
• 采用保持范数的状态转移矩阵，以确保训练过程中隐藏状态动态的稳定性。
• 使用复数门控（更新门和重置门）来控制隐藏状态中的信息流动，从而提升表征能力。
• 采用复数反向传播时间算法，在复数域中进行梯度计算以训练网络。
• 实施归一化技术以保持隐藏状态的幅值，防止梯度消失或爆炸。
• 在单元的更新机制中使用复数线性变换，以保留序列数据中的相位和幅值信息。

实验结果

研究问题

• RQ1 复数门控是否能够提升RNN在序列建模任务中的表征能力和性能？
• RQ2 保持范数的状态转移矩阵是否能增强复数RNN的训练稳定性？
• RQ3 所提出的复数门控RNN在合成序列任务（如记忆任务和加法任务）中与标准实数RNN相比表现如何？
• RQ4 复数门控RNN能否泛化到真实世界的序列数据（如人体运动序列）？
• RQ5 在RNN中使用复数是否适用于长期时间依赖关系学习，且具有有效性？

主要发现

• 所提出的复数门控RNN在合成记忆任务上取得了具有竞争力的性能，与标准实数RNN相比表现相当或更优。
• 在加法任务中，模型展现出强大的泛化能力与精确的序列学习能力，表明其有效捕捉了长程依赖关系。
• 在人体运动预测基准测试中，该模型达到了最先进水平的性能，优于同类实数RNN架构。
• 状态转移矩阵的保持范数特性确保了训练动态的稳定性，有效防止了梯度爆炸或消失。
• 使用复数门控使网络能够比实数对应模型更有效地建模序列数据中的相位与幅值关系。
• 实证结果证实，RNN中的复数表示不仅稳定，而且在合成与真实世界数据的序列模式建模中均具有显著优势。