[論文レビュー] Theory and Implementation of Complex-Valued Neural Networks

José Agustín Barrachina, Chengfang Ren+3 more|arXiv (Cornell University)|Feb 16, 2023

Neural Networks and Applications被引用数 12

ひとこと要約

この論文は、理論、数学的基盤（Wirtinger calculus、complex backpropagation）、およびPython CVNN toolboxの実装を提示し、複素層と活性化関数を含む実験、Hilbert Transformを介して実データを複素ドメインへキャストする実験を含む。

ABSTRACT

This work explains in detail the theory behind Complex-Valued Neural Network (CVNN), including Wirtinger calculus, complex backpropagation, and basic modules such as complex layers, complex activation functions, or complex weight initialization. We also show the impact of not adapting the weight initialization correctly to the complex domain. This work presents a strong focus on the implementation of such modules on Python using cvnn toolbox. We also perform simulations on real-valued data, casting to the complex domain by means of the Hilbert Transform, and verifying the potential interest of CVNN even for non-complex data.

研究の動機と目的

• CVNNの理論と、非全形式関数の訓練における Wirtinger calculus の役割を説明する。
• CVNNの複素値レイヤ、活性化関数、および重み初期化の実装を詳述する。
• cvnn toolboxを用いたPythonでの実用的なCVNN開発を実演し、実数値ベースラインと比較する。
• 適切な複素ドメインの重み初期化の影響を調査し、Hilbert-transform castingによる非複素データへのCVNN適用性を示す。

提案手法

• CVNNの数学的背景を提示し、Liouvilleの定理と Wirtinger calculus を含む。
• 複素値バックプロパゲーションのフレームワークと、複素パラメータを持つ実-valued loss に対して用いられる勾配の定義を説明する。
• TensorFlowベースのCVNN toolbox内で、複素値レイヤ、活性化、プーリング、アップサンプリングを導入する。
• 訓練中の初期化、データ型、および実-valued lossesと複素パラメータの取り扱いを説明する。
• 品質と RVNNs との互換性を確保するためのツールとテスト実践（pytest）を報告する。
• CVNN実験のためにHilbert Transformを用いて実データを複素ドメインにキャストすることを論じる。

実験結果

リサーチクエスチョン

• RQ1 Wirtinger calculus をどのように活用して、実-valued loss 関数を用いた CVNN を訓練できるか。
• RQ2 CVNN における複素値レイヤ、活性化、プーリングの実用的な考慮事項と実装は何か。
• RQ3 勾配計算と層の更新の観点で、複素値バックプロパゲーションは実-valued バックプロパゲーションとどう異なるか。
• RQ4 Hilbert Transform によって実データを複素ドメインへキャストした場合、CVNNは利点を提供できるか。
• RQ5 複素ドメインの重み初期化がCVNNの性能に与える影響は何か。

主な発見

• Wirtinger calculus に基づくCVNNの理論的枠組みは、実-valued losses での勾配に基づく訓練を可能にする。
• TensorFlow-based CVNN toolbox (CVNN) を、複素値レイヤ、活性化、プーリングを用いて実装し、RVNNsと比較してデバッグを支援した。
• 本研究は、適切な訓練のために複素ドメインへの重み初期化の適応が必要であることを強調する。
• Hilbert Transform による実データの複素ドメインへのキャストでCVNNの有効性を示す実験。
• このツールボックスは TensorFlow API を模倣し、PyTest ベースのテストを提供して信頼性を確保する点でユーザーエクスペリエンスを強調している。