[論文レビュー] f-Divergence Minimization for Sequence-Level Knowledge Distillation

Yuqiao Wen, Zichao Li+2 more|arXiv (Cornell University)|Jul 27, 2023

Topic Modeling被引用数 4

ひとこと要約

この論文では、教師モデルと生徒モデルの分布間のf-発散を最小化することで、一元化されたシーケンスレベルの知識蒸留フレームワークf-distillを提案する。f-発散の最小化として蒸留を定式化し、オフラインサンプリングを用いた段階的分解を導出することで、f-distillは4つのテキスト生成タスクにおいて既存手法を上回る性能を発揮し、対称的発散（JSおよびTVD）によりモード平均化やモード崩壊の問題が軽減される。

ABSTRACT

Knowledge distillation (KD) is the process of transferring knowledge from a large model to a small one. It has gained increasing attention in the natural language processing community, driven by the demands of compressing ever-growing language models. In this work, we propose an f-DISTILL framework, which formulates sequence-level knowledge distillation as minimizing a generalized f-divergence function. We propose four distilling variants under our framework and show that existing SeqKD and ENGINE approaches are approximations of our f-DISTILL methods. We further derive step-wise decomposition for our f-DISTILL, reducing intractable sequence-level divergence to word-level losses that can be computed in a tractable manner. Experiments across four datasets show that our methods outperform existing KD approaches, and that our symmetric distilling losses can better force the student to learn from the teacher distribution.

研究の動機と目的

• KLおよび逆KL発散といった非対称な知識蒸留手法に起因する限界、すなわちモード平均化とモード崩壊の問題を是正すること。
• 既存のシーケンスレベルの蒸留手法（例：SeqKDやENGINE）を一般化されたf-発散最小化フレームワークに統合すること。
• 段階的分解とオフライン教師サンプリングを用いることで、シーケンスレベルのf-発散の効率的かつ実行可能な計算を実現すること。
• 対称的f-発散（JSおよびTVD）が生徒モデルの教師分布への整合性向上に与える影響を評価すること。
• 要約、翻訳、対話生成を含む多様なテキスト生成タスクにおいて、一貫した性能向上を示すこと。

提案手法

• 教師出力分布と生徒出力分布の間の一般化されたf-発散の最小化として、シーケンスレベルの知識蒸留を定式化する。
• f-distillフレームワーク下で4つの変種を導出：KL、逆KL、ジェンセン・ショーンナー（JS）、全変動距離（TVD）蒸留。
• シーケンスレベルのf-発散を単語レベルの損失に段階的に分解することで、計算が可能となる最適化を可能にする。
• 対称的発散の計算コストを低減するため、事前に教師モデル出力を生成するオフラインサンプリング戦略を導入する。
• 生徒のサンプリングにストップグラデントを適用することで強化学習を回避する、グリーディで勾配ベースの最適化を採用する。
• すべてのf-発散変種に同一の訓練目的を適用することで、一貫した比較とアブレーションが可能となる。

実験結果

リサーチクエスチョン

• RQ1 f-発散最小化に基づく統一的フレームワークは、従来のKLベース手法を上回るシーケンスレベルの知識蒸留を実現できるか？
• RQ2 非対称発散（KLおよび逆KL）と比較して、対称的発散（JSおよびTVD）はモード平均化とモード崩壊の問題をどれほど軽減できるか？
• RQ3 段階的分解とオフラインサンプリングにより、シーケンスレベルのf-発散最小化が計算的に実行可能になるまでの程度は？
• RQ4 f-distillは、既存の蒸留ベースラインと比較して、多様なテキスト生成タスクで一貫した性能向上を達成できるか？
• RQ5 対称的蒸留損失は実際の応用において、生徒と教師の分布の整合性を向上させることができるか？

主な発見

• f-distillは、DART、XSum、WMT16 EN-RO、およびセンス・ディアローグの4つのテキスト生成データセットにおいて、既存の分布マッチング知識蒸留手法を一貫して上回る性能を発揮した。
• 非対称発散（KLおよびRKL）と比較して、対称的発散（JSおよびTVD）が優れた性能を示し、モード平均化とモード崩壊が有害であることが裏付けられた。
• f-distillは表現マッチング知識蒸留と組み合わせることで顕著な性能向上を達成し、追加的なモジュールとしての有効性と相性の良さを示した。
• f-発散の段階的分解により、元々計算が困難とされるシーケンスレベルの発散が、実行可能となる計算に変換された。
• 教師モデルからのオフラインサンプリングは、性能を損なうことなく、対称的発散の計算コストを効果的に低減した。
• 実験結果から、提案手法は評価されたすべてのベンチマークで最先端の性能を達成しており、メトリクスや設定にかかわらず一貫した向上が確認された。