[論文レビュー] A Survey of Complex-Valued Neural Networks

Joshua Bassey, Lijun Qian+1 more|arXiv (Cornell University)|Jan 28, 2021

Neural Networks and Applications参考文献 148被引用数 78

ひとこと要約

この論文は複素数値ニューラルネットワーク（CVNNs）の体系的な調査を提供し、活性化関数、学習/最適化手法、入力/出力表現、および応用を分類し、課題と今後の方向性を論じる。

ABSTRACT

Artificial neural networks (ANNs) based machine learning models and especially deep learning models have been widely applied in computer vision, signal processing, wireless communications, and many other domains, where complex numbers occur either naturally or by design. However, most of the current implementations of ANNs and machine learning frameworks are using real numbers rather than complex numbers. There are growing interests in building ANNs using complex numbers, and exploring the potential advantages of the so-called complex-valued neural networks (CVNNs) over their real-valued counterparts. In this paper, we discuss the recent development of CVNNs by performing a survey of the works on CVNNs in the literature. Specifically, a detailed review of various CVNNs in terms of activation function, learning and optimization, input and output representations, and their applications in tasks such as signal processing and computer vision are provided, followed by a discussion on some pertinent challenges and future research directions.

研究の動機と目的

• 最先端CVNNを活性化、学習/最適化、入力/出力表現、応用で系統的なレビューと分類を提供する。
• 異なる思想体系を比較・対比し、CVNNアプローチの類似点・相違点・利点・制限を強調する。
• CVNNが直面する課題を議論し、将来の研究の有望な方向性を概説する。
• 信号処理、通信、ビジョンにおいてCVNNをいつ・なぜ使用すべきかを研究者が理解するための基盤を確立する。

提案手法

• 活性化関数のタイプ、学習/最適化アプローチ、入力/出力表現に沿ってCVNN文献の調査と分類。
• ホモロガスか非ホモロガスか、分割型（split activations）を含む活性化関数の特性について議論（Type A vs Type B）。
• Wirtinger微分法を用いた勾配ベースのバックプロパゲーションを含む学習法および非勾配導関法、 derivative-free アプローチを含めて説明。
• 複素数ドメインでの複素損失 L、対数損失、バックプロパゲーション更新の数式表現を提示。
• CVNNにおける複素表現の歴史的背景と根拠の概要。

実験結果

リサーチクエスチョン

• RQ1 CVNNで検討されている活性化関数は何で、それらはどのように異なるか（ホモロガス対非ホモロガス、分割型、ETF、ReLU適用）?
• RQ2 CVNNに対してどのような学習・最適化戦略が用いられているか（Wirtinger微分を用いた勾配ベース、非勾配法、二次法）?
• RQ3 CVNNにおける入力と出力はどのように表現されるか（split-real、split-phase、完全複素、MVN/MLMVNフレームワーク）?
• RQ4 どの応用領域でCVNNは潜在的な利点を示し、どの課題が普及を妨げているか？

主な発見

• CVNNはsplit型、完全複素、ETFベース、非パラメトリック、ReLU様のバリアントを含む活性化関数の広範なスペクトラムを採用しており、単一の最良の選択に関する合意はない。
• Wirtinger微積分は勾配ベースのCVNNトレーニングにおける複素勾配を導く基礎的ツールであり、複素領域のバックプロパゲーションを可能にする。
• CVNNには、勾配ベースのバックプロパゲーションと多値ニューロンの誤差修正アプローチ（導関数を用いない）という異なる学習パラダイムが存在する。
• CVNNの入力/出力表現はsplit-realおよびsplit-amplitude/phaseから完全複素、そして多値ニューロンは単位円出力を提供するものまで様々である。
• この調査はホモロガス制約と実践的な非ホモロガス活性化とのトレードオフを強調し、正則化、初期化、および安定性の課題を浮き彫りにしている。
• 本研究は歴史的発展を統合し、将来の方向性を概説しており、複素数データが自然な領域（例：信号処理、通信）でCVNNの可能性を示唆している。