[論文レビュー] Incremental Sequence Learning

Edwin D. de Jong|arXiv (Cornell University)|Nov 9, 2016

Domain Adaptation and Few-Shot Learning参考文献 20被引用数 9

ひとこと要約

本論文では、短いシーケンスの接頭辞から段階的に長さを増やしていくことで、RNNを用いたシーケンスモデリングのためのカリキュラム学習手法として、インクリメンタルシーケンス学習（ISL）を提案する。ISLは、テスト誤差を74%低減し、標準的なシーケンス学習の性能に達するまでの速度を平均20倍速くする。主な要因は、RNNにおける内部表現学習が、初期のシーケンス部分を段階的に学習することで向上したことである。

ABSTRACT

Deep learning research over the past years has shown that by increasing the scope or difficulty of the learning problem over time, increasingly complex learning problems can be addressed. We study incremental learning in the context of sequence learning, using generative RNNs in the form of multi-layer recurrent Mixture Density Networks. While the potential of incremental or curriculum learning to enhance learning is known, indiscriminate application of the principle does not necessarily lead to improvement, and it is essential therefore to know which forms of incremental or curriculum learning have a positive effect. This research contributes to that aim by comparing three instantiations of incremental or curriculum learning. We introduce Incremental Sequence Learning, a simple incremental approach to sequence learning. Incremental Sequence Learning starts out by using only the first few steps of each sequence as training data. Each time a performance criterion has been reached, the length of the parts of the sequences used for training is increased. We introduce and make available a novel sequence learning task and data set: predicting and classifying MNIST pen stroke sequences. We find that Incremental Sequence Learning greatly speeds up sequence learning and reaches the best test performance level of regular sequence learning 20 times faster, reduces the test error by 74%, and in general performs more robustly; it displays lower variance and achieves sustained progress after all three comparison methods have stopped improving. The other instantiations of curriculum learning do not result in any noticeable improvement. A trained sequence prediction model is also used in transfer learning to the task of sequence classification, where it is found that transfer learning realizes improved classification performance compared to methods that learn to classify from scratch.

研究の動機と目的

• カリキュラム学習がRNNにおけるシーケンス学習性能を向上させるかどうかを調査すること。
• さまざまな段階的学習戦略が、シーケンス予測タスクにおいて効果を発揮するかどうかを評価すること。
• 観察された性能向上が、RNNにおける表現学習の向上に起因するかどうかを分析すること。
• ISLで学習したモデルを用いたシーケンス予測からシーケンス分類への転移学習の可能性を検討すること。
• MNISTのペンストロークシーケンスを用いた再現可能なベンチマークを提供すること。

提案手法

• 本手法は、最初はシーケンスの最初の数ステップのみを用いて、段階的に長くなった接頭辞のシーケンスに対して、マルチレイヤーの再帰的混合密度ネットワーク（MDN）を訓練する。
• 性能基準を満たした後にのみ、訓練長さを増加させるため、複雑性を増やす前に安定した学習が保証される。
• シーケンス予測の評価に、数字の骨格から抽出したMNISTの数字ペンストロークシーケンスを用いた新規データセットを採用する。
• 2つの代替カリキュラム学習手法および標準的なシーケンス学習とを比較する。
• シーケンス分類のためのファインチューニングにより、ISLで学習したシーケンス予測モデルを用いて転移学習を実施する。
• RNN固有のシーケンス記憶の貢献を特定するために、全結合ネットワークを用いたアブレーションスタディおよびバッチサイズの変化を含む実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 標準的な訓練と比較して、インクリメンタルシーケンス学習は、シーケンスモデリングにおける一般化性能を向上させるか？
• RQ2 最初にシーケンスの初期部分を学習することにより、RNNの表現学習にどのような影響を与えるか？
• RQ3 代替のカリキュラム学習戦略も、提案されたISL手法と同等の改善をもたらすか？
• RQ4 ISLで学習したシーケンス予測モデルは、シーケンス分類タスクに効果的に転移可能か？
• RQ5 ISLで観察された性能向上は、RNNの記憶機能に起因するものか？

主な発見

• インクリメンタルシーケンス学習（ISL）は、標準的なシーケンス学習と比較して、テスト誤差を74%低減する。
• ISLは、通常のシーケンス学習が達成する最良のテスト性能に、平均20倍の速さで到達する。
• 他の手法がピークに達した後も、ISLは低い分散と持続的な改善を示す。
• RNNレイヤーを全結合ネットワークに置き換えると、性能優位性が消失するため、シーケンス記憶の重要性が裏付けられる。
• バッチサイズやデータ量の増加だけが原因ではない。バッチサイズを増やしても、速度向上は減少するが、消失はしない。
• ISLで学習したモデルを用いた転移学習により、初期から訓練したモデルよりも分類性能が向上する。