[论文解读] A Survey of Complex-Valued Neural Networks

Joshua Bassey, Lijun Qian+1 more|arXiv (Cornell University)|Jan 28, 2021

Neural Networks and Applications参考文献 148被引用 78

一句话总结

本论文提供对复值神经网络（CVNNs）的系统性综述，分类其激活函数、学习/优化方法、输入/输出表示及应用，并讨论挑战与未来方向。

ABSTRACT

Artificial neural networks (ANNs) based machine learning models and especially deep learning models have been widely applied in computer vision, signal processing, wireless communications, and many other domains, where complex numbers occur either naturally or by design. However, most of the current implementations of ANNs and machine learning frameworks are using real numbers rather than complex numbers. There are growing interests in building ANNs using complex numbers, and exploring the potential advantages of the so-called complex-valued neural networks (CVNNs) over their real-valued counterparts. In this paper, we discuss the recent development of CVNNs by performing a survey of the works on CVNNs in the literature. Specifically, a detailed review of various CVNNs in terms of activation function, learning and optimization, input and output representations, and their applications in tasks such as signal processing and computer vision are provided, followed by a discussion on some pertinent challenges and future research directions.

研究动机与目标

• 提供对最先进CVNNs在激活、学习/优化、输入/输出表示及应用方面的系统性综述与分类。
• 比较并对比不同学派，突出CVNN方法的相似性、差异、优点与局限性。
• 讨论CVNNs面临的挑战并勾勒未来研究的有前景方向。
• 为研究人员建立基础，帮助理解在信号处理、通信和视觉领域何时以及为何使用CVNNs。

提出的方法

• 沿着激活函数类型、学习/优化方法和输入/输出表示，对CVNN文献进行调查与分类。
• 讨论激活函数属性，包括全纯（holomorphic）与非全纯，以及分离激活（Type A vs Type B）。
• 解释学习方法，包括带有Wirtinger微积分的基于梯度的反向传播，以及非梯度的派生无关方法。
• 给出复数域中的复杂损失(L)、对数损失，以及反向传播更新的数学表达。
• 概述CVNNs中复数表示的历史背景与理论依据。

实验结果

研究问题

• RQ1 为CVNNs已研究的激活函数有哪些及它们有何不同（全纯 vs 非全纯、分离类型、ETF、ReLU改编）？
• RQ2 CVNNs使用哪些学习与优化策略（带Wirtinger微积分的梯度方法、非梯度方法、二阶方法）？
• RQ3 CVNNs中的输入/输出如何表示（分离的实部、分离的幅相、全复数、MVN/MLMVN框架）？
• RQ4 在哪些应用中CVNNs显示出潜在优势，哪些挑战阻碍其更广泛的采用？

主要发现

• CVNNs采用了广泛的激活函数谱，包括分离型、全复合、基于ETF的、非参数，以及类似ReLU的变体，但尚无就单一最佳选择形成共识。
• Wirtinger微积分是推导CVNNs梯度化训练中复数梯度的基础工具，使得复数域的反向传播成为可能。
• CVNNs存在不同的学习范式，包括基于梯度的反向传播和用于多值神经元的无导数、纠错型方法。
• CVNNs的输入/输出表示从分离实部与分离幅相到全复数不等，多值神经元可输出单位圆信号。
• 本综述强调全纯约束与实用非全纯激活之间的权衡，指出正则化、初始化和稳定性方面的挑战。
• 本研究整合了历史发展并勾勒未来方向，暗示CVNNs在对复数数据天然存在的领域（如信号处理、通信）中的潜力。