[論文レビュー] Gated Complex Recurrent Neural Networks.

Moritz Wolter, Angela Yao|arXiv (Cornell University)|Jun 21, 2018

Neural Networks and Applications被引用数 6

ひとこと要約

この論文は、複素数値の重みとゲートを活用することで、系列モデリングを向上させる新しい複素数ゲート付き再帰ニューラルネットワーク（RNN）を提案する。ノルムを保存する状態遷移行列を組み込むことで、安定した学習と合成メモリ、加算タスク、および人間の運動予測において競争力のある性能を達成し、深層学習における系列データのための複素数表現の有効性を示している。

ABSTRACT

Complex numbers have long been favoured for digital signal processing, yet complex representations rarely appear in deep learning architectures. RNNs, widely used to process time series and sequence information, could greatly benefit from complex representations. We present a novel complex gate recurrent cell. When used together with norm-preserving state transition matrices, our complex gated RNN exhibits excellent stability and convergence properties. We demonstrate competitive performance of our complex gated RNN on the synthetic memory and adding task, as well as on the real-world task of human motion prediction.

研究の動機と目的

• 深層学習における複素数値表現の使用が限定的である一方で、それらがデジタル信号処理分野で長年にわたり有用であるという事実に着目する。
• 複素数ドメインで動作する安定的かつ効果的な再帰ニューラルネットワークアーキテクチャを設計すること。
• 複素数値ゲートと状態遷移を用いることで、系列データ内の時間的依存関係をよりよく捉えるRNNの能力を向上させること。
• 提案モデルを合成ベンチマークおよび人間の運動予測などの現実世界の系列モデリングタスクで評価すること。

提案手法

• 標準的なゲート付き再帰ユニット（GRU）を拡張し、複素数値の重みと活性化関数で動作する新しい複素数ゲート付き再帰セルを提案する。
• 訓練中の安定した隠れ状態ダイナミクスを保証するため、ノルムを保存する状態遷移行列を採用する。
• 隠れ状態内の情報フローを制御するため、複素数値ゲート（更新ゲートおよびリセットゲート）を用いることで、より豊かな表現能力を実現する。
• ネットワークを学習するため、複素数ドメインにおける勾配計算を伴う複素数バックプロパゲーションスルータイムを適用する。
• 勾配の消失や爆発を防ぐために、隠れ状態の大きさを維持するための正規化技術を実装する。
• 系列データ内の位相と振幅情報を保持するため、セルの更新メカニズムに複素数値線形変換を用いる。

実験結果

リサーチクエスチョン

• RQ1 複素数値ゲートは、系列モデリングタスクにおけるRNNの表現能力と性能を向上させることができるか？
• RQ2 ノルム保存型状態遷移行列の使用は、複素数値RNNにおける学習安定性を向上させるか？
• RQ3 提案された複素数ゲート付きRNNは、メモリタスクや加算タスクといった合成系列タスクにおいて、標準的な実数値RNNと比較してどのように性能を示すか？
• RQ4 複素数ゲート付きRNNは、人間の運動シーケンスなどの現実世界の系列データに一般化可能か？
• RQ5 RNNにおける複素数の使用は、長期的な時間的依存関係学習において実用的で効果的か？

主な発見

• 提案された複素数ゲート付きRNNは、合成メモリタスクにおいて、標準的な実数値RNNと同等またはそれ以上の性能を達成する。
• 加算タスクにおいて、モデルは優れた一般化性能と正確な系列学習を示し、長距離依存関係の有効な捉え具合を示している。
• 人間の運動予測ベンチマークでは、同等の実数値RNNアーキテクチャを上回る最先端の結果を達成している。
• 状態遷移行列のノルム保存性により、安定した学習ダイナミクスが保証され、勾配の爆発や消失が防止されている。
• 複素数値ゲートの使用により、実数値の対応物よりも、系列データ内の位相と振幅の関係をより効果的にモデル化できる。
• 実験的結果から、RNNにおける複素数表現は、安定的であるだけでなく、合成データおよび現実世界のデータの両方における系列パターンモデリングに有益であることが確認された。