[論文レビュー] Structural Knowledge Distillation: Tractably Distilling Information for Structured Predictor

Xinyu Wang, Yong Jiang+7 more|arXiv (Cornell University)|Oct 10, 2020

Explainable Artificial Intelligence (XAI)参考文献 40被引用数 6

ひとこと要約

本稿では、構造的予測モデル（教師）から小さなモデル（生徒）へ知識を転送するための実行可能な手法として、構造的知識蒸留（SKD）を提案する。この手法は、知識蒸留の目的関数を部分構造にわたって要因分解することで、指数的に大きな出力空間を持つ構造的予測タスクにおける知識蒸留の実行可能性を高める。本手法は、因子分解形式が互換性のないモデルアーキテクチャ間でも効果的に機能し、先行手法を上回る性能を示す。特に、ラベルなしデータを用いることで、ゼロショットの多言語間転移において、生徒モデルが教師モデルを上回ることすら可能となる。

ABSTRACT

Knowledge distillation is a critical technique to transfer knowledge between models, typically from a large model (the teacher) to a more fine-grained one (the student). The objective function of knowledge distillation is typically the cross-entropy between the teacher and the student's output distributions. However, for structured prediction problems, the output space is exponential in size; therefore, the cross-entropy objective becomes intractable to compute and optimize directly. In this paper, we derive a factorized form of the knowledge distillation objective for structured prediction, which is tractable for many typical choices of the teacher and student models. In particular, we show the tractability and empirical effectiveness of structural knowledge distillation between sequence labeling and dependency parsing models under four different scenarios: 1) the teacher and student share the same factorization form of the output structure scoring function; 2) the student factorization produces more fine-grained substructures than the teacher factorization; 3) the teacher factorization produces more fine-grained substructures than the student factorization; 4) the factorization forms from the teacher and the student are incompatible.

研究の動機と目的

• 出力空間が指数的に巨大であるため、標準的な知識蒸留が構造的予測タスクで実行不能となる問題に対処すること。
• 構造的モデルにおける部分構造の要因分解を活用した、実行可能な知識蒸留目的関数の開発。
• 因子分解形式が異なる、あるいは互換性のない因子分解形式を有する教師・生徒モデル間での効果的な蒸留を可能にすること。
• 大規模な教師モデルからの知識を活用して、構造的予測タスクにおける生徒モデルの性能を向上させること。
• SKDの有効性を低リソース環境およびゼロショットの多言語間転移設定で示すこと。

提案手法

• 部分構造スコア関数に基づき、知識蒸留目的関数の要因分解形を導出することで、計算が実行可能になるようにする。
• 教師モデルの部分構造上の周辺分布が効率的に計算可能であり、生徒モデルの部分構造空間が多項式サイズであると仮定する。
• 教師モデルの部分構造予測に基づく蒸留損失を用いて、生徒モデルを訓練する。
• 4つのシナリオをサポートする：共通の因子分解、生徒がより細分化された因子分解、教師がより細分化された因子分解、因子分解形式が互換性のない場合。
• 特にゼロショットの多言語間転移において、一般化性能の向上を図るために、ラベルなしデータを活用する。
• 評価に際しては、CRF、MaxEnt、NER-as-parsing などの標準的な構造的予測モデルを用いる。

実験結果

リサーチクエスチョン

• RQ1 出力空間が指数的に巨大である構造的予測タスクにおいて、知識蒸留を実行可能にすることができるか？
• RQ2 教師と生徒モデルが出力スコア計算に異なる、あるいは互換性のない因子分解形式を用いる場合、どのようにして効果的な蒸留を実現できるか？
• RQ3 構造的知識蒸留は、標準的な蒸留法や蒸留なしの手法と比較して、生徒モデルの性能を向上させるか？
• RQ4 ラベルなしデータを用いることで、ゼロショットの多言語間転移設定における生徒モデルの性能がさらに向上するか？
• RQ5 SKDを用いて訓練された生徒モデルは、微調整なしに多言語間転移において教師モデルを上回ることができるか？

主な発見

• 提案された構造的知識蒸留手法は、教師・生徒モデルの互換性に関する4つのシナリオすべてにおいて、ベースラインの蒸留手法を上回る性能を達成する。
• 過去の手法が適用可能な状況においても、SKDは一貫してそれらを上回り、特に系列ラベル付けおよび依存解析タスクで顕著な優位性を示す。
• 十分なラベルなしデータを用いることで、SKDで訓練された生徒モデルはゼロショットの多言語間転移において教師モデルを上回る可能性を示し、優れた一般化性能を示す。
• 教師モデルと生徒モデルの因子分解形式が互換性がなくても、本手法は効果を発揮する。これは、従来の手法が困難としていた分野である。
• 教師モデルの周辺予測（例：各位置の分布）だけでは高精度を達成できないことが示され、構造的蒸留の価値が浮き彫りになる。
• 要因分解された蒸留目的関数により、効率的な最適化が可能であり、CRF、MaxEnt、NER-as-parsing など広く使われているモデルにも適用可能である。