[論文レビュー] Transformer to CNN: Label-scarce distillation for efficient text classification

Yew Ken Chia, Sam Witteveen+1 more|arXiv (Cornell University)|Sep 8, 2019

Topic Modeling被引用数 25

ひとこと要約

本論文は、大規模な事前学習済みTransformer（OpenAI GPT）を教師モデルとして、その出力確率（logits）を用いて、軽量で効率的な畳み込みニューラルネットワーク（BlendCNN）を学生モデルとして訓練する知識蒸留フレームワークを提案する。パラメータ数が39分の1で、推論速度が300倍速いにもかかわらず、ラベルが限られた条件下で複数のテキスト分類ベンチマークで教師モデルを上回る結果を示しており、適切に階層的表現学習を設計された知識蒸留済みCNNは、大規模なアテンションベースのモデルを凌駕できる可能性を示している。

ABSTRACT

Significant advances have been made in Natural Language Processing (NLP) modelling since the beginning of 2018. The new approaches allow for accurate results, even when there is little labelled data, because these NLP models can benefit from training on both task-agnostic and task-specific unlabelled data. However, these advantages come with significant size and computational costs. This workshop paper outlines how our proposed convolutional student architecture, having been trained by a distillation process from a large-scale model, can achieve 300x inference speedup and 39x reduction in parameter count. In some cases, the student model performance surpasses its teacher on the studied tasks.

研究の動機と目的

• 産業的NLP応用における大規模な事前学習済みTransformerモデルの高い計算コストとメモリ使用量を低減すること。
• ラベルが限られた条件下で、軽量なCNNベースの学生モデルが大規模な事前学習済みTransformer教師モデルと同等またはそれ以上の性能を達成できるかどうかを検討すること。
• 限られたアノテート済み例での一般化性能を向上させるために、偽ラベルを付与されたラベルなしデータを用いた知識蒸留の有効性を調査すること。
• 階層的表現を効果的に捉えるために、知識蒸留された出力確率（logits）を活用する新しいCNNアーキテクチャ（BlendCNN）を設計すること。

提案手法

• 教師モデルとして、タスク固有のデータで微調整された事前学習済みOpenAI Transformerモデルを用い、ラベル付きおよびラベルなしデータの両方に対してソフトラベル（logits）を生成する。
• 複数の並列な畳み込みブランチを備えた新しいCNNアーキテクチャであるBlendCNNを設計。各ブランチは異なる層からのプーリングを実行し、その後に連結処理と全結合ブレンド層を適用する。
• 学生モデルは、ラベル付きおよび偽ラベル付きのラベルなし例の両方において、学生モデルと教師モデルの出力確率（logits）の平均絶対誤差（MAE）を損失関数として用いて知識蒸留により訓練される。
• 学生モデルの入力特徴として、100次元の学習可能なGloVe埋め込み表現を用いて転移学習を実施する。
• 1クラスあたり100個のラベル付き例と1,000個のラベルなし例を用い、偽ラベリングにより追加の学習信号を生成することで知識蒸留を実施する。
• すべての実験で固定された初期学習率10⁻³を用いたAdam最適化法でモデル学習を実行する。

実験結果

リサーチクエスチョン

• RQ1 ラベルが限られた条件下で、軽量なCNNベースの学生モデルが大規模な事前学習済みTransformerと同等またはそれ以上の性能を達成できるか？
• RQ2 わずか数個のラベル付き例しか利用できない状況下で、強力な教師モデルからの知識蒸留が、小さな学生ネットワークの精度をどの程度向上させるか？
• RQ3 限られたリソースでのテキスト分類において、偽ラベルを付与されたラベルなしデータの使用は、知識蒸留プロセスの効果を高めるか？
• RQ4 BlendCNNのような特別に設計されたCNNアーキテクチャは、知識蒸留された出力確率（logits）から得られる階層的表現を効果的に活用し、より大きなモデルを上回ることができるか？

主な発見

• 3層のBlendCNN学生モデルは、AG Newsで91.2%の精度を達成し、知識蒸留によって訓練されたOpenAI Transformer教師モデル（88.7%）を上回った。
• DBpediaデータセットでは、8層のBlendCNNが98.5%の精度を達成し、同じ知識蒸留プロトコル下で教師モデルの97.5%を上回った。
• Yahoo Answersでは、3層のBlendCNNが71.0%の精度を達成し、教師モデルの70.4%をわずかに上回った。
• 教師モデルを上回ったにもかかわらず、3層のBlendCNNモデルはパラメータ数が39分の1（298万対1億1,650万）であり、推論速度は300倍速い（1秒あたり3,676文対11.76文）。
• 知識蒸留による性能向上は顕著であり、知識蒸留なしではAG Newsで87.6%にとどまることから、高い性能を発揮するには知識蒸留が不可欠であることが示された。
• ラベルなしデータを知識蒸留プロセスに組み込むことで学生モデルの性能が顕著に向上し、偽ラベリングを用いた場合のスコアが、ラベル付きデータでのみ学習した場合よりも高かった。