[論文レビュー] State-Denoised Recurrent Neural Networks

Michael C. Mozer, Denis Kazakov+1 more|arXiv (Cornell University)|May 22, 2018

Neural Networks and Applications参考文献 26被引用数 3

ひとこと要約

この論文では、ノイズ除去自己符号化器の設定において吸引子ダイナミクスを用いて、シーケンス処理中の隠れ表現を安定化する、状態ノイズ除去再帰的ニューラルネットワーク（SDRNN）を提案する。ノイズのある隠れ状態からクリアな隠れ状態を再構築するための補助的損失を訓練することで、SDRNNは標準RNNやノイズ除去目的を持たない変種よりも、複数のシーケンスタスクでより高いロバスト性と一般化性能を示す。

ABSTRACT

Recurrent neural networks (RNNs) are difficult to train on sequence processing tasks, not only because input noise may be amplified through feedback, but also because any inaccuracy in the weights has similar consequences as input noise. We describe a method for denoising the hidden state during training to achieve more robust representations thereby improving generalization performance. Attractor dynamics are incorporated into the hidden state to `clean up' representations at each step of a sequence. The attractor dynamics are trained through an auxillary denoising loss to recover previously experienced hidden states from noisy versions of those states. This state-denoised recurrent neural network {SDRNN} performs multiple steps of internal processing for each external sequence step. On a range of tasks, we show that the SDRNN outperforms a generic RNN as well as a variant of the SDRNN with attractor dynamics on the hidden state but without the auxillary loss. We argue that attractor dynamics---and corresponding connectivity constraints---are an essential component of the deep learning arsenal and should be invoked not only for recurrent networks but also for improving deep feedforward nets and intertask transfer.

研究の動機と目的

• 重みの不正確さや隠れ状態の摂動が時間経過とともに増幅する、再帰的ニューラルネットワークにおける内部ノイズの課題に対処すること。
• 隠れ表現のノイズに対するロバスト性を高めることで、シーケンス処理における一般化性能を向上させること。
• 吸引子ダイナミクスとノイズ除去目的を組み合わせることで、内部表現を安定化させ、モデル性能を向上させられるかを検証すること。
• 吸引子ネットワークの有用性がRNNにとどまらず、フィードフォワードネットワークやトランスファーラーニングにも応用可能かどうかを調査すること。
• 内部ノイズの抑制が吸引子ダイナミクスによって実現され、特にデータが少ない状況でも性能が向上することを実証すること。

提案手法

• SDRNNアーキテクチャは、RNNの隠れ状態を処理する別個の吸引子ネットワークを組み込み、吸引子ダイナミクスを用いてノイズを除去する。
• 吸引子ネットワークは、汚れたバージョンからクリアな隠れ状態を再構築する補助的ノイズ除去損失を用いて訓練される。
• 吸引子ダイナミクスは、対称的な重みと、有界で連続的かつ厳密に増加する非線形関数（例：tanh）によって制御され、固定点または極限円周に収束することが保証される。
• 外部のシーケンスステップごとに、吸引子ネットワークが収束するまで複数回の内部更新が行われ、隠れ状態の段階的改善が可能になる。
• 主となるRNNは、補助的ノイズ除去目的と同時に訓練され、ロバストでノイズに強い表現を学習できる。
• この手法は、吸引子ダイナミクスの安定性と収束性を保証するため、リャプノフエネルギー関数を活用する。

実験結果

リサーチクエスチョン

• RQ1 別個のサブネットワークにおける吸引子ダイナミクスは、RNNの隠れ状態の内部ノイズに対するロバスト性を向上させることができるか？
• RQ2 隠れ状態に補助的ノイズ除去目的を適用することで、シーケンス処理タスクにおける一般化性能が向上するか？
• RQ3 SDRNNは、標準RNNやノイズ除去損失を含まないSDRNNの変種と比較して、どのように性能を発揮するか？
• RQ4 吸引子ダイナミクスは、データが限られた学習状況でも性能を向上させられるか？
• RQ5 吸引子ベースのノイズ除去は、フィードフォワードネットワークやトランスファーラーニングにどの程度一般化可能か？

主な発見

• SDRNNは、さまざまなシーケンス処理タスクにおいて標準RNNを上回り、一般化性能の向上が確認された。
• 吸引子ダイナミクスとノイズ除去損失を備えたSDRNNは、吸引子ダイナミクスは含まれるが補助的ノイズ除去目的を持たないバージョンよりも顕著に優れた性能を示した。
• データが限られた状況でも顕著な性能向上が見られ、サンプル効率の向上が示唆された。
• 吸引子ダイナミクスは、隠れ表現を効果的に安定化させ、内部ノイズや重みの不正確さの影響を低減した。
• このアプローチは一般化可能であり、フィードフォワードネットワークへの応用も可能で、画像のノイズ除去、スーパーレゾリューション、カラー化への応用が有望である。
• 結果は、吸引子ダイナミクスと接続制約が、ロバストなディープラーニングアーキテクチャの中心的要素であるという仮説を支持する。