[论文解读] Complex Gated Recurrent Neural Networks

Moritz Wolter, Angela Yao|arXiv (Cornell University)|Jun 21, 2018

Human Pose and Action Recognition参考文献 38被引用 27

一句话总结

本文提出了一种新颖的复数门控循环神经网络（cgRNN），该网络结合了复数隐藏状态、酉矩阵形式的、保持范数的状态转移矩阵以及门控机制。该架构实现了稳定且快速的训练，并在合成任务和人体动作预测任务中实现了最先进性能，且参数量仅为同类实数GRU的50%。

ABSTRACT

Complex numbers have long been favoured for digital signal processing, yet complex representations rarely appear in deep learning architectures. RNNs, widely used to process time series and sequence information, could greatly benefit from complex representations. We present a novel complex gated recurrent cell, which is a hybrid cell combining complex-valued and norm-preserving state transitions with a gating mechanism. The resulting RNN exhibits excellent stability and convergence properties and performs competitively on the synthetic memory and adding task, as well as on the real-world tasks of human motion prediction.

研究动机与目标

• 开发一种稳定且可训练的循环神经网络架构，利用复数表示以提升序列建模性能。
• 研究无界非线性激活（如modReLU）与复数RNN中保持范数的状态转移之间的兼容性。
• 证明复数门控RNN在真实世界序列任务（如人体动作预测）中可超越实数对应模型。
• 表明酉状态转移矩阵能显著提升训练稳定性与收敛性，尤其在与无界非线性激活结合时。

提出的方法

• 提出一种复数门控循环单元（cgRNN），采用复数隐藏状态和复数权重矩阵。
• 使用酉状态转移矩阵以保持隐藏状态的范数，防止梯度消失与爆炸。
• 在Stiefel流形上优化酉矩阵，以在训练过程中强制实现酉性。
• 使用Wirtinger微积分（CR微积分）计算复数网络中非全纯、实值损失函数的梯度。
• 采用modReLU非线性激活，一种无界的复数激活函数，与酉转移结合时表现优于有界替代方案。
• 使用TensorFlow等标准深度学习框架实现网络，支持实际部署与训练。

实验结果

研究问题

• RQ1 若与保持范数的状态转移结合，无界非线性激活（如modReLU）是否可在复数RNN中有效使用？
• RQ2 使用酉状态转移矩阵如何影响复数RNN中的训练稳定性和收敛性？
• RQ3 复数门控RNN是否能在参数更少的情况下于合成序列任务（如记忆任务和加法任务）中实现最先进性能？
• RQ4 与实数基线模型相比，cgRNN在真实世界序列建模（如人体动作预测）中是否具有良好泛化能力？
• RQ5 在RNN中使用复数表示时，模型效率与性能之间的权衡如何？

主要发现

• cgRNN在加法任务中达到最先进性能，在记忆任务中表现具有竞争力，优于标准RNN和GRU。
• 采用酉状态转移矩阵后，无界的modReLU非线性激活在合成任务中显著优于有界的Hirose双曲正切非线性激活。
• 在人体动作预测任务中，cgRNN仅用180万个参数即达到最先进结果，而实数GRU基线模型需340万个参数。
• cgRNN在各类动作类别上的平均预测误差降低达15%，同时参数量减少一半。
• 使用酉矩阵训练可实现更快且更平滑的收敛，无论使用何种非线性激活。
• 在音乐转录任务中，模型达到53%的准确率，证明其能从复数输入中提取有意义特征，但尚未达到复数CNN的最先进水平（72.9%）。