[論文レビュー] Data Distillation for Text Classification

Yongqi Li, Wenjie Li|arXiv (Cornell University)|Apr 17, 2021

Machine Learning and Data Classification参考文献 17被引用数 8

ひとこと要約

本稿では、大規模な元のデータセットの知識を模倣するように数値表現を最適化することにより、合成的小規模な学習データを生成する、テキスト分類のための新規なデータ蒸留手法を提案する。勾配逆伝播を介した合成データに対する反復的最適化スキームを用いることで、元のモデルの約90％の精度を、学習データサイズのたった0.1％で達成している。

ABSTRACT

Deep learning techniques have achieved great success in many fields, while at the same time deep learning models are getting more complex and expensive to compute. It severely hinders the wide applications of these models. In order to alleviate this problem, model distillation emerges as an effective means to compress a large model into a smaller one without a significant drop in accuracy. In this paper, we study a related but orthogonal issue, data distillation, which aims to distill the knowledge from a large training dataset down to a smaller and synthetic one. It has the potential to address the large and growing neural network training problem based on the small dataset. We develop a novel data distillation method for text classification. We evaluate our method on eight benchmark datasets. The results that the distilled data with the size of 0.1% of the original text data achieves approximately 90% performance of the original is rather impressive.

研究の動機と目的

• 大規模なテキストデータセット上で大規模なディープラーニングモデルを学習する際の高い計算コストとストレージコストに対処すること。
• モデル蒸留とは直交する代替手法として、モデルアーキテクチャの圧縮ではなく、学習データの圧縮に焦点を当てたデータ蒸留を検討すること。
• 元のデータセットの本質的な知識を保持する、合成的小規模な学習データを生成すること。
• 大規模データセットからの知識をコンパクトな合成データに蒸留することで、学習効率を向上させ、冗長性を低減すること。
• 最小限のデータ条件下で、多様なテキスト分類ベンチマークにおいて、手法の有効性を評価すること。

提案手法

• 各クラスごとに少量の合成テキストサンプルを、学習可能な数値テンソル（蒸留データ）として初期化する。
• 学生モデルを蒸留データで訓練し、元のデータの損失関数から逆伝播された勾配を用いて、蒸留データを更新する、交互に最適化するプロセスを採用する。
• Hessian-ベクトル積を用いて2次勾配を効率的に計算することで、微分可能な最適化により蒸留データを更新する。
• 反復的に合成データを精緻化し、元のデータセットの意思決定境界および表現をよりよく近似するようにする。
• 最終的な蒸留データは、任意の下流モデルに対して標準的な学習データとして使用でき、高速かつ効率的な学習が可能になる。
• 最適化プロセスが合成データに関して微分可能であることを保証し、元のデータの損失関数から蒸留データのパラメータへ勾配が流れ込むようにする。

実験結果

リサーチクエスチョン

• RQ1 大規模なテキストデータセットから蒸留された小規模な合成データセットは、完全なデータセットと同等の分類性能を達成できるか？
• RQ2 ランダムサンプリングやヒューリスティックなデータ選択と比較して、データ蒸留はモデルの精度と学習効率においてどのように異なるか？
• RQ3 蒸留データは、モデルの一般化性能を維持しつつ、どの程度学習時間と計算コストを削減できるか？
• RQ4 蒸留データサイズがモデル性能に与える影響は何か？ また、完全データの性能上限に近づくか？
• RQ5 勾配ベースの精緻化によって、元のデータセットからの知識が合成データへ効果的に転送可能か？

主な発見

• 蒸留データは、元のデータセットの0.1％のサイズにとどまっているが、8つのベンチマークテキスト分類タスクにおいて、完全データセットと比較して約90％の性能を達成した。
• 平均して、同じサイズのランダムに選択されたサブセットよりも顕著に優れた性能を示し、各データセットで10〜30パーセンテージポイントの精度向上が見られた。
• ランダムデータで学習したモデルと比較して、蒸留データで学習したモデルはより速く収束し、より高い精度に早く到達した。これは、滑らかな最適化の流れを示している。
• クラスあたりのサンプル数が非常に少ないデータセット（例：AG’s News ではクラスあたり30サンプル）に対しても、蒸留データは効果的な学習を可能にした。AG’s Newsでは、85.64％の精度を達成したのに対し、ランダムデータでは71.33％にとどまった。
• 蒸留データサイズを全データセットの0.01％から0.1％に増加させた際、モデルの精度は一貫して向上し、完全データセットの性能に近づいた。これはスケーラビリティを示している。
• 本手法は、合成データを生成することで、単一のサブセットに存在しない知識を捉えることができ、サブセット選択の上限を上回ることを示した。