[論文レビュー] Learning Representations Using Complex-Valued Nets

Andy M. Sarroff, Victor Shepardson+1 more|arXiv (Cornell University)|Nov 19, 2015

Neural Networks and Applications参考文献 16被引用数 13

ひとこと要約

本論文は、混合正則および非正則活性化関数を伴うバックプロパゲーションを可能にするために、Wirtinger微分を用いた深層複素数値ニューラルネットワーク（CVNN）のトレーニングフレームワークを提案する。テスト性能は実数値ネットワークと同等またはわずかに劣るが、CVNNは周波数応答における等間隔のピークなど、データのスペクトル構造を非常に代表的に学習する。

ABSTRACT

Complex-valued neural networks (CVNNs) are an emerging field of research in neural networks due to their potential representational properties for audio, image, and physiological signals. It is common in signal processing to transform sequences of real values to the complex domain via a set of complex basis functions, such as the Fourier transform. We show how CVNNs can be used to learn complex representations of real valued time-series data. We present methods and results using a framework that can compose holomorphic and non-holomorphic functions in a multi-layer network using a theoretical result called the Wirtinger derivative. We test our methods on a representation learning task for real-valued signals, recurrent complex-valued networks and their real-valued counterparts. Our results show that recurrent complex-valued networks can perform as well as their real-valued counterparts while learning filters that are representative of the domain of the data.

研究の動機と目的

• 正則および非正則活性化関数を組み合わせられる汎用的なフレームワークを構築し、深層複素数値ニューラルネットワークをトレーニングすること。
• 複素数微分における特異点と無限大に発散する活性化関数の問題に対処すること。
• 合成信号データセット上で、CVNNが実数値ネットワークよりも意味的でドメイン適応性の高い表現を学習できるかどうかを評価すること。
• 複素数領域における非正則的で実解析的コスト関数に対する勾配ベース最適化を可能にするWirtinger微分の有効性を示すこと。

提案手法

• 正則でない複素数関数の勾配を計算するためにWirtinger微分を用い、正則および非正則活性化関数を併用するネットワークにおけるバックプロパゲーションを可能にする。
• Wirtinger微分を用いて、各ノードに対して複素変数およびその共役に関する2つのヤコビアンを計算し、安定した最適化を実現する。
• 同じネットワークアーキテクチャ内で正則関数（例：複素数tanh）と非正則関数を併用できるハイブリッド活性化関数フレームワークを採用する。
• 周波数コンテンツが異なる合成データセット（調波的、非調波的、および解析的（瞬時周波数／位相）信号）に対して、再帰的複素数値および実数値ネットワークをトレーニングする。
• ハイパーパrameterチューニングを学習率および重み初期化の観点から行うために、変更を加えたChainerフレームワークを用いてネットワークを実装・トレーニングする。
• マグニチュード周波数応答プロットを用いて、学習済みフィルタの代表的忠実度とデータへの適応性を評価する。

実験結果

リサーチクエスチョン

• RQ1 Wirtinger微分を用いてトレーニングされた複素数値ニューラルネットワークは、時系列信号の表現学習において実数値ネットワークを上回ることができるか？
• RQ2 正則および非正則活性化関数の混合が、CVNNのトレーニング安定性および収束に与える影響は何か？
• RQ3 複素数値ネットワークは、実数値ネットワークと比較して、より解釈可能または元の信号構造をよりよく反映するフィルタを学習できるか？
• RQ4 活性化関数の特異点および有界性は、複素数値ネットワークのトレーニング難易度にどのように寄与しているか？
• RQ5 学習率および重み初期化などのハイパーパrameter設定に、CVNNはどれほど敏感か？

主な発見

• すべてのデータセットにおいて、複素数値ネットワークのテスト誤差は実数値ネットワークと同等、あるいはわずかに劣るが顕著に優れてはいない。
• すべての実験で実数値ネットワークが最終的なテスト誤差を低く抑えていることから、CVNNのトレーニング安定性は依然として課題である。
• 性能が劣っているにもかかわらず、複素数値ネットワークはSawtooth-Likeデータセットで明確に等間隔のスペクトルピークを持つフィルタを学習しており、強いドメイン適応性を示している。
• 非調波的および解析的データセットにおいて、複素数値ネットワークのフィルタは、周波数応答が洗練されており、実数値ネットワークのそれよりも高い選別性を示した。
• 複素数tanh活性化関数に起因する特異点が原因で、複素数値ネットワークのトレーニングプロセスに不安定性（誤差曲線の不連続性）が生じた。
• ハイパーパrameter最適化の結果、最適なパフォーマンスを得られる設定はごくわずかであり、CVNNが学習率および初期化に極めて敏感であることが明らかになった。