[論文レビュー] Complex Gated Recurrent Neural Networks

Moritz Wolter, Angela Yao|arXiv (Cornell University)|Jun 21, 2018

Human Pose and Action Recognition参考文献 38被引用数 27

ひとこと要約

この論文は、複素数値の隠れ状態とユニタリでノルムを保存する状態遷移行列、およびゲーティング機構を組み合わせた新しい複素数ゲーティング再帰ニューラルネットワーク（cgRNN）を提案する。このアーキテクチャにより、安定した高速な学習が可能となり、合成タスクおよび人間の運動予測において、同等の実数値GRUと比較して50%少ないパラメータで最先端の性能を達成する。

ABSTRACT

Complex numbers have long been favoured for digital signal processing, yet complex representations rarely appear in deep learning architectures. RNNs, widely used to process time series and sequence information, could greatly benefit from complex representations. We present a novel complex gated recurrent cell, which is a hybrid cell combining complex-valued and norm-preserving state transitions with a gating mechanism. The resulting RNN exhibits excellent stability and convergence properties and performs competitively on the synthetic memory and adding task, as well as on the real-world tasks of human motion prediction.

研究の動機と目的

• 複素数値表現を活用して改善されたシーケンスモデリングを実現する、安定的かつ学習可能な再帰ニューラルネットワークアーキテクチャの開発。
• 無限大の非線形性（例：modReLU）が、複素数RNNにおけるノルム保存型状態遷移と互換性を持つかどうかの調査。
• 複素数値ゲーティングRNNが、人間の運動予測などの実世界のシーケンスタスクで実数値の対応手法を上回ることの実証。
• ユニタリ状態遷移行列が、特に無限大の非線形性と組み合わせた場合に、学習の安定性と収束性を顕著に向上させることの示唆。

提案手法

• 複素数値の隠れ状態と複素数値の重み行列を用いる複素数ゲーティング再帰ユニット（cgRNN）を提案。
• 隠れ状態のノルムを保存するユニタリ状態遷移行列を採用し、勾配消失・爆発を防止。
• トレーニング中にユニタリティを保つために、Stiefel多様体上でユニタリ行列を最適化。
• 非正則関数の実数値損失関数に対する勾配を計算するために、Wirtinger微分（CR微分）を用いる。
• 無限大の複素数活性化関数であるmodReLUを採用し、ユニタリ遷移と組み合わせて、有界な代替手法よりも優れた性能を発揮。
• TensorFlowなどの標準的なディープラーニングフレームワークを用いて実装し、実用的で効率的なトレーニングとデプロイメントを可能に。

実験結果

リサーチクエスチョン

• RQ1 ノルム保存型状態遷移と組み合わせた場合、modReLUのような無限大の非線形性は、複素数RNNで効果的に使用可能か？
• RQ2 ユニタリ状態遷移行列の使用は、複素数値RNNにおける学習の安定性と収束性にどのように影響を与えるか？
• RQ3 複素数ゲーティングRNNは、パラメータを減らした状態で、合成シーケンスタスク（メモリタスクおよび加算タスク）において最先端の性能を達成できるか？
• RQ4 実世界のシーケンスモデリング、例えば人間の運動予測において、cgRNNは実数値ベースラインと比較して一般化性能に優れているか？
• RQ5 RNNにおける複素数値表現の使用に伴う、モデル効率と性能のトレードオフは何か？

主な発見

• cgRNNは加算タスクで最先端の性能を達成し、メモリタスクでも競争力のある結果を示し、標準的なRNNやGRUを上回る。
• ユニタリ状態遷移行列を用いることで、無限大のmodReLU非線形性は、有界なHirose tanh非線形性よりも顕著に優れた性能を発揮する。
• 人間の運動予測タスクでは、cgRNNは340万パラメータの実数値GRUベースラインと比較して、わずか180万パラメータで最先端の結果を達成した。
• 全運動カテゴリにわたり、平均して予測誤差を最大15%まで低減し、パラメータ数を50%に削減した。
• ユニタリ行列を用いた学習は、使用する非線形性に関係なく、より速く滑らかな収束をもたらした。
• 音楽譜記録タスクでは53%の精度を達成し、複素数値入力から意味のある特徴を抽出できることを示したが、複素数CNNの最先端性能（72.9%）には及ばない。