[論文レビュー] Recurrent Orthogonal Networks and Long-Memory Tasks

Mikael Henaff, Arthur Szlam+1 more|arXiv (Cornell University)|Feb 22, 2016

Neural Networks and Applications被引用数 61

ひとこと要約

本論文は、RNNにおける長記憶タスクの2つのベンチマーク—シーケンスコピーや加算—について明示的な解析解を提供し、直交または単位行列の遷移行列が安定した長期的記憶保持を可能にすることを示している。ランダムに直交した初期化がコピータスクの有効な学習を可能にし、単位行列初期化が加算タスクに適していることを示し、1つのアーキテクチャで両方の能力を統合するための$l_2$プーリング機構を導入している。

ABSTRACT

Although RNNs have been shown to be powerful tools for processing sequential data, finding architectures or optimization strategies that allow them to model very long term dependencies is still an active area of research. In this work, we carefully analyze two synthetic datasets originally outlined in (Hochreiter and Schmidhuber, 1997) which are used to evaluate the ability of RNNs to store information over many time steps. We explicitly construct RNN solutions to these problems, and using these constructions, illuminate both the problems themselves and the way in which RNNs store different types of information in their hidden states. These constructions furthermore explain the success of recent methods that specify unitary initializations or constraints on the transition matrices.

研究の動機と目的

• 合成ベンチマークタスクを用いてRNNにおける長期記憶の理論的基盤を分析すること。
• コピータスクおよび加算タスクの明示的RNN解を構築し、長時間にわたり隠れ状態が情報をどのように符号化するかを明らかにすること。
• RNNにおける直交行列およびユニタリ行列制約の経験的成功を理論的分析によって説明すること。
• 単一のアーキテクチャが$l_2$プーリングを用いて異なる長記憶タスクに一般化可能かどうかを調査すること。
• 合成ベンチマークとより複雑で長さが可変なタスクとの間でモデルの一般化性能を評価すること。

提案手法

• 固有値が単位円上に一様に分布する$T+S$乗根を持つ単位行列の遷移行列を用いて、コピータスクの明示的RNN解を構築する。
• 恒等行列の遷移行列を用いて加算タスクの明示的解を構築し、安定した非振動的隠れ状態ダイナミクスを可能にする。
• ランダムに直交した行列が、コピータスクの理論的解に高確率で近いことを示し、恒等行列が加算タスクの解に近いことを示す。
• 隠れ状態に$l_2$プーリング層を適用し、振動的（直交的）および安定的（恒等行列に類似）なダイナミクスの切り替えを可能にする。
• 勾配降下法を用いて、単位球面上のランダムな点で$||V^T V - I||$を最小化することで、訓練中に軟らかく直交性を維持する制約を導入する。
• 固定長および可変長のコピータスクおよび加算タスクに対してモデルを評価し、一般化性能とロバストネスを評価する。

実験結果

リサーチクエスチョン

• RQ1 RNNが長期シーケンスコピータスクを解くために必要な正確な数学的条件は何か？
• RQ2 遷移行列の選択（直交的 vs. 恒等的）が、RNNの最適化および長記憶タスクにおけるパフォーマンスに与える影響は何か？
• RQ3 $l_2$プーリングを備えた単一のRNNアーキテクチャが、加算タスクとコピータスクの両方に一般化可能か？
• RQ4 なぜ直交的またはユニタリ行列制約が長記憶タスクのパフォーマンスを向上させるのか？その理論的根拠は何か？
• RQ5 合成ベンチマークでの成功は、より複雑で長さが可変なタスクに一般化可能か、それともタスク固有のものか？

主な発見

• コピータスクは、固有値が単位円上に一様に分布する$T+S$乗根を持つ単位行列の遷移行列を備えたRNNによって解ける。
• 加算タスクは、恒等行列の遷移行列を備えたRNNによって解け、安定した非振動的隠れ状態ダイナミクスを実現する。
• ランダムに直交した初期化は、コピータスクの理論的解に高確率で近づき、恒等行列初期化は加算タスクの解に近づく。
• 初期化を反転させること（例：コピータスクに恒等行列、加算タスクに直交行列）は、パフォーマンスを著しく低下させ、タスクのダイナミクス領域に初期化が依存していることを示している。
• $l_2$プーリング機構により、1つのモデルが振動的および定常状態ダイナミクスの切り替えを可能にし、コピータスクと加算タスクの両方を解くことが可能になった。
• 可変長コピータスクでは、標準的なLT-RNNはランダムベースラインを上回れないが、LSTMは成功しており、合成ベンチマークの成功がより複雑で動的なタスクに一般化されない可能性を示唆している。