[論文レビュー] Visualizing and Understanding Curriculum Learning for Long Short-Term Memory Networks

Volkan Cirik, Eduard Hovy+1 more|arXiv (Cornell University)|Nov 18, 2016

Topic Modeling被引用数 31

ひとこと要約

この論文は、長短記憶（LSTM）ネットワークにおける順序予測タスクのためのカリキュラム学習（CL）を調査し、ランダムシャッフルを基準として、ワンパスおよびベビー・ステップCLスケジュールを比較している。CL、特にベビー・ステップカリキュラムが、建設的な内部表現を促進することで、特にデータ量が少ない状況下で、接続詞を含む複雑なケース、たとえばセンチメント分析において性能を顕著に向上させることを示している。

ABSTRACT

Curriculum Learning emphasizes the order of training instances in a computational learning setup. The core hypothesis is that simpler instances should be learned early as building blocks to learn more complex ones. Despite its usefulness, it is still unknown how exactly the internal representation of models are affected by curriculum learning. In this paper, we study the effect of curriculum learning on Long Short-Term Memory (LSTM) networks, which have shown strong competency in many Natural Language Processing (NLP) problems. Our experiments on sentiment analysis task and a synthetic task similar to sequence prediction tasks in NLP show that curriculum learning has a positive effect on the LSTM's internal states by biasing the model towards building constructive representations i.e. the internal representation at the previous timesteps are used as building blocks for the final prediction. We also find that smaller models significantly improves when they are trained with curriculum learning. Lastly, we show that curriculum learning helps more when the amount of training data is limited.

研究の動機と目的

• カリキュラム学習がLSTMネットワークの内部表現に与える影響を調査すること。
• 特にワンパスおよびベビー・ステップを含む、異なるカリキュラム学習スケジュールがLSTMパフォーマンスに与える影響を評価すること。
• カリキュラム学習が小型モデルやリソースが限られた学習シナリオにおいても効果を発揮するかどうかを分析すること。
• カリキュラム学習がセンチメント分析における対比的接続詞のような複雑な言語現象のモデリングにどのように影響を与えるかを理解すること。

提案手法

• 本研究では、合成的な順序予測タスクと、5クラスのセンチメント分類のためのスタンフォード・センチメントツリーバンク（SST）という2つのベンチマークを用いた。
• 4つのトレーニングスケジュールを比較した：ランダムシャッフル（ベースライン）、ワンパスカリキュラム、ソート済みカリキュラム、ベビー・ステップカリキュラム。
• 各トークン処理後に中間LSTM隠れ状態をプローブし、センチメント極性が時間経過とともにどのように更新されるかを可視化した。
• モデルはRMSpropで訓練され、168個のLSTMユニットを用い、ファインチューニングされたGloVe単語埋め込みを適用した。早期停止法を適用し、忍耐値=10とした。
• パフォーマンスは全体の正確度とサブタスクの正確度（例：接続詞を含む文）で評価され、標準偏差が報告された。
• データ量を変化させることでデータ効率を評価し、データの一部の割合ごとに結果をプロットした。

実験結果

リサーチクエスチョン

• RQ1 カリキュラム学習は、LSTMにおける順序処理中の内部表現ダイナミクスにどのように影響を与えるか？
• RQ2 ベビー・ステップカリキュラムスケジュールは、他のスケジュールと比較してLSTMにおける内部状態の構築をより良く行うか？
• RQ3 対比的接続詞のような困難な言語現象において、カリキュラム学習がどれほどパフォーマンスを向上させるか？
• RQ4 モデルサイズが、LSTMにおけるカリキュラム学習の利点に与える影響はどの程度か？
• RQ5 カリキュラム学習はリソースが限られた学習環境において、より大きなパフォーマンス向上をもたらすか？

主な発見

• ベビー・ステップカリキュラムスケジュールは、SSTセンチメント分析タスクで最高の全体正確度（47.37％）を達成し、ベースライン（46.83％）および他のスケジュールを上回った。
• 特に対比的構造を含む接続詞を含む文では、ベビー・ステップモデルが46.07％の正確度を達成し、ベースライン（43.88％）および他のスケジュールを顕著に上回った。
• 可視化の結果、対比的文において「spice」という語を観測した後、ベビー・ステップモデルが正しくセンチメント極性を更新していることが示され、矛盾する信号の処理が優れていることが明らかになった。
• 小型モデルはカリキュラム学習を用いてトレーニングすることで顕著なパフォーマンス向上を示し、リソース制限のある環境においてその価値が示された。
• 訓練データが限られた状況ではカリキュラム学習がより大きな向上をもたらした。データ量が増加するにつれて、スケジュール間のパフォーマンス差は縮小した。
• ワンパスおよびベビー・ステップスケジュールは、完全な訓練データを用いた場合、類似したパフォーマンスに収束した。これは、データ効率がCLの主な利点であることを示唆している。