[论文解读] Learning Representations Using Complex-Valued Nets

Andy M. Sarroff, Victor Shepardson+1 more|arXiv (Cornell University)|Nov 19, 2015

Neural Networks and Applications参考文献 16被引用 13

一句话总结

该论文提出了一种使用Wirtinger导数训练深度复值神经网络（CVNNs）的框架，以实现通过混合解析与非解析激活函数的反向传播。尽管在测试性能上与实值网络相当或略差，CVNNs 学习到的滤波器能高度表征数据的频谱结构，例如在频率响应中呈现谐波分布的峰值。

ABSTRACT

Complex-valued neural networks (CVNNs) are an emerging field of research in neural networks due to their potential representational properties for audio, image, and physiological signals. It is common in signal processing to transform sequences of real values to the complex domain via a set of complex basis functions, such as the Fourier transform. We show how CVNNs can be used to learn complex representations of real valued time-series data. We present methods and results using a framework that can compose holomorphic and non-holomorphic functions in a multi-layer network using a theoretical result called the Wirtinger derivative. We test our methods on a representation learning task for real-valued signals, recurrent complex-valued networks and their real-valued counterparts. Our results show that recurrent complex-valued networks can perform as well as their real-valued counterparts while learning filters that are representative of the domain of the data.

研究动机与目标

• 开发一种通用的深度复值神经网络训练框架，能够结合解析与非解析激活函数。
• 解决CVNN训练中的挑战，包括复导数中的无界激活函数与奇点问题。
• 评估CVNN是否能在合成信号数据集上学习到比实值网络更具意义、更适应特定领域的表征。
• 展示Wirtinger微积分在实现复域中非解析、实解析代价函数的基于梯度优化方面的效用。

提出的方法

• 利用Wirtinger导数计算非解析复值函数的梯度，使具有混合激活类型的网络能够实现反向传播。
• 应用Wirtinger微积分，为每个节点计算两个雅可比矩阵——分别关于复变量及其共轭——以实现稳定优化。
• 采用混合激活函数框架，允许在同一网络架构中同时使用解析（如复数tanh）与非解析函数。
• 在包含谐波、非谐波及解析（瞬时频率/相位）信号的合成数据集上，训练循环复值与实值网络。
• 使用修改后的Chainer框架实现并训练网络，通过学习率与权重初始化的超参数调优。
• 通过幅值频率响应图分析学习到的滤波器，以评估表征保真度与数据适应性。

实验结果

研究问题

• RQ1 使用Wirtinger微积分训练的复值神经网络是否能在时间序列信号的表征学习中优于实值网络？
• RQ2 混合解析与非解析激活函数如何影响CVNN训练的稳定性与收敛性？
• RQ3 复值网络是否能学习到比实值网络更具可解释性或更能反映底层信号结构的滤波器？
• RQ4 激活函数的奇点与有界性在复值网络训练难度中起什么作用？
• RQ5 CVNN对学习率与权重初始化等超参数设置的敏感性如何？

主要发现

• 在所有数据集上，复值网络的测试误差与实值网络相当，但并未显著更优。
• 所有实验中实值网络的最终测试误差均更低，表明CVNN的训练稳定性仍具挑战。
• 尽管性能较差，复值网络在Sawtooth-Like数据集上学习到的滤波器表现出清晰、谐波分布的频谱峰值，表明其具有较强的领域适应性。
• 复值网络的滤波器选择性更高，频率响应更清晰，尤其在非谐波与解析数据集上优于实值网络。
• 复值网络的训练过程表现出不稳定性，包括误差曲线的不连续性，可能源于复数tanh激活函数中的奇点。
• 超参数优化表明，仅有少数设置能达到最优性能，凸显CVNN对学习率与初始化的高敏感性。