[論文レビュー] On orthogonality and learning recurrent networks with long term dependencies

Eugene Vorontsov, Chiheb Trabelsi+2 more|arXiv (Cornell University)|Jan 31, 2017

Sparse and Compressive Sensing Techniques参考文献 17被引用数 114

ひとこと要約

本論文は、リカレント重み行列を直交性に制約することが最適化、収束、性能にどのように影響するかを分析し、特異値にマージンを設けた分解表現 W = U S V^T と、Stiefel多様体上の測地線更新を用いてバックプロパゲーション時の拡張/縮小を制御することを提案する。

ABSTRACT

It is well known that it is challenging to train deep neural networks and recurrent neural networks for tasks that exhibit long term dependencies. The vanishing or exploding gradient problem is a well known issue associated with these challenges. One approach to addressing vanishing and exploding gradients is to use either soft or hard constraints on weight matrices so as to encourage or enforce orthogonality. Orthogonal matrices preserve gradient norm during backpropagation and may therefore be a desirable property. This paper explores issues with optimization convergence, speed and gradient stability when encouraging or enforcing orthogonality. To perform this analysis, we propose a weight matrix factorization and parameterization strategy through which we can bound matrix norms and therein control the degree of expansivity induced during backpropagation. We find that hard constraints on orthogonality can negatively affect the speed of convergence and model performance.

研究の動機と目的

• 長期依存性を持つリカレントネットワークにおける学習ダイナミクスへ、硬直な直交性制約が与える影響を調査する。
• バックプロパゲーション中の拡張/縮小を制限するための因数分解表現を開発する。
• 直交性を緩和/ソフト化することが収束速度とタスク性能へ与える影響を、メモリ重視および実データタスクで評価する。
• 合成タスクと実データを横断して、異なるマージンと活性化関数下でのスペクトル進化と勾配挙動を検討する。

提案手法

• W = U S V^T による重み行列をパラメータ化する。ここで U および V は直交で、S は特異値を含む。
• Stiefel多様体上の Cayley変換を用いて U と V の直交性を維持する（測地線勾配降下）。
• マージン m を周りの特異値を制約するシグモイドパラメータ化 s_i = 2m(σ(p_i) - 0.5) + 1 により 1 周辺で設定し、マージンを考慮して学習率を調整する。
• 正則性のずれを許すようにSをオフ・マンifold上で更新し、制御されたマージン内でスペクトル更新を正規化してステップサイズを管理する。
• 合成メモリタスク（copy, adding）と実データ（ sequential MNIST/pMNIST, PTB character prediction ）で硬い（マージンベース）と柔らかい直交制約を比較する。
• RMSpropと geoSGD を指定学習率で適用し、勾配クリッピングとウェイトデ decay を用い、活性化関数に tanh、ReLU、PReLU、OPLU をテストする。

実験結果

リサーチクエスチョン

• RQ1 硬直な直交性をリカレント重み行列に課すことは、長いシーケンスのタスクにおける勾配フローと学習安定性を改善するか。
• RQ2 マージン束縛された特異値パラメータ化は、表現力を保ちつつスペクトルノルムと勾配の展開を制御できるか。
• RQ3 硬い vs 柔らかい直交性制約は、合成メモリタスクと実データのシーケンスタスクでの収束速度と最終精度にどう影響するか。
• RQ4 UとVの測地線更新とスペクトルマージン調整の組み合わせは、学習ダイナミクスとタスク性能にどのような影響を与えるか。

主な発見

• 硬い直交性は安定した勾配ノルムを保証するが、収束を遅くし一部のタスクで性能を低下させることがある。
• スペクトルマージンを介して直交性制約を緩和すると、収束が速まり、コピー/加算や逐次MNISTなどのメモリタスクで性能が向上することが多い。
• 非線形性と活性化選択はスペクトル制約と相互作用し、特定の活性化関数（例：tanh、ReLU、OPLU）はメモリタスクに対して異なる影響を及ぼす。
• 特異値分布はマージン下で所定の範囲内にとどまり、長期記憶タスクで直交初期化モデルはスペクトルがほぼ単位に近い状態を維持する。
• PTB文字予測では直交性からの逸脱を制約することが有益な場合があると示唆され、直交性制約のタスク依存効果が示唆される。
• より大きなスペクトルマージンは非常に長いシーケンスで収束を妨げることがある一方、MNISTタスクでは小さなマージン（例：m = 0.1）が最良の結果をもたらすことが多い。