[論文レビュー] Representation Stability as a Regularizer for Improved Text Analytics Transfer Learning

Matthew Riemer, Elham Khabiri+1 more|arXiv (Cornell University)|Apr 12, 2017

Topic Modeling参考文献 26被引用数 11

ひとこと要約

本稿では、自然言語処理における逐次的転移学習において共有表現を安定化させ、RNNで深刻な忘却を防ぐための忘却コスト正則化項を提案する。複数のソースタスク（ルールベースのセンチメントエンジンを含む）から知識を蒸留することで、GRUモデルはSemEval 2016のツイッター感情分析タスクで最先端の性能を達成し、はるかに多くのデータや複雑なアーキテクチャを用いたモデルを上回った。

ABSTRACT

Although neural networks are well suited for sequential transfer learning tasks, the catastrophic forgetting problem hinders proper integration of prior knowledge. In this work, we propose a solution to this problem by using a multi-task objective based on the idea of distillation and a mechanism that directly penalizes forgetting at the shared representation layer during the knowledge integration phase of training. We demonstrate our approach on a Twitter domain sentiment analysis task with sequential knowledge transfer from four related tasks. We show that our technique outperforms networks fine-tuned to the target task. Additionally, we show both through empirical evidence and examples that it does not forget useful knowledge from the source task that is forgotten during standard fine-tuning. Surprisingly, we find that first distilling a human made rule based sentiment engine into a recurrent neural network and then integrating the knowledge with the target task data leads to a substantial gain in generalization performance. Our experiments demonstrate the power of multi-source transfer techniques in practical text analytics problems when paired with distillation. In particular, for the SemEval 2016 Task 4 Subtask A (Nakov et al., 2016) dataset we surpass the state of the art established during the competition with a comparatively simple model architecture that is not even competitive when trained on only the labeled task specific data.

研究の動機と目的

• テキスト解析における逐次的転移学習において、ファインチューニングが以前のタスクからの有用な知識を消去する深刻な忘却を解消すること。
• ターゲットタスクへの統合中に複数のソースタスクからの知識を保持することで、モデルの一般化性能を向上させること。
• 人間が作成したルールベースのセンチメントエンジンをニューラルネットワークに蒸留することで、性能向上を図ることの有効性を検証すること。
• 表現の安定性を保つマルチソース転移が、標準的なファインチューニングに比べてターゲットタスクで優れた性能を発揮するかを評価すること。
• 多様な転移表現を組み合わせたアンサンブル手法の可能性を調査し、精度の向上を図ること。

提案手法

• ターゲットタスクの学習中に共有表現層の変化をペナルティ化する忘却コストを導入し、安定性を促進する。
• 古いデータを保存せずに、ソースタスク専用モデルによって生成された合成例を用いた知識蒸留により、リハーサルを模擬する。
• マルチタスク目的関数を用いて学習する。ターゲットタスクの交差エントロピー損失と、ソースモデルの予測からの蒸留損失の両方を最小化する。
• ファインチューニング中に、ソースモデルとターゲットモデルの共有隠れ表現間のL2距離を最小化することで、表現の安定性を強制する。
• 異なるソースタスク（例：ルールベース、映画レビュー、絵文字予測）から転移したモデルの予測を、適応的平均化によりアンサンブル化する戦略を採用する。
• モデルの信頼度から導出される注目メカニズムに類似した重みを用いて、動的に予測を組み合わせ、耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 忘却コスト正則化項は、テキスト解析における逐次的転移学習において深刻な忘却を効果的に軽減できるか？
• RQ2 ルールベースのセンチメントエンジンをニューラルネットワークに蒸留することで、下流タスクでの一般化性能が向上するか？
• RQ3 表現の安定性を保つマルチソース転移は、標準的なファインチューニングに比べてターゲットタスクで優れた性能を発揮するか？
• RQ4 多様な転移表現を組み合わせたアンサンブル手法は、個々のモデルを上回る性能向上をどの程度達成できるか？
• RQ5 複数のソースタスクからの知識統合と蒸留を組み合わせることで、単純なGRUアーキテクチャでも最先端の結果が得られるか？

主な発見

• 忘却コスト正則化項は深刻な忘却を顕著に軽減し、通常のファインチューニングで失われる傾向にあるソースタスクからの有用な知識を保持した。
• 蒸留モデルはSemEval 2016タスク4サブタスクAのテストセットで66.0%の精度を達成し、以前の最先端（64.6%）を上回った。これは、50ユニットの単純なGRUアーキテクチャを用いたにもかかわらずである。
• 複数のCNNと遠隔監督を用いた複雑なアンサンブル（SwissCheese）でさえ、訓練データ量が10倍以上少ないにもかかわらず、本モデルはそれを上回った。
• ルールベースの転移モデルと他のソースタスクモデルをアンサンブルで統合することで、性能が1.5%向上したが、理論的限界を考慮するとさらなる向上の余地がある。
• 転移なしでターゲットタスクデータのみで学習したモデルは53.6%の精度にとどまり、転移と蒸留の重要性が浮き彫りになった。
• 理論的分析から、完全なモデル結合が可能であれば、4つの転移表現を組み合わせることで85.1%の精度に達する可能性があると示唆され、表現統合の分野には大幅な改善余地があることが示された。