[論文レビュー] Can Model Compression Improve NLP Fairness

Guangxuan Xu, Qingyuan Hu|arXiv (Cornell University)|Jan 21, 2022

Topic Modeling被引用数 15

ひとこと要約

本論文は、モデル圧縮——特に知識蒸留とプルーニング——が生成言語モデルにおける公平性に与える影響を調査する。知識蒸留はGPT-2およびBlenderbotモデルにおいて毒性とバイアスを一貫して低減することが判明し、圧縮が正則化手法として機能し、公平性を向上させる可能性があることを示唆している。これは、より安全なNLPシステムを構築するための新しい道筋を提供する。

ABSTRACT

Model compression techniques are receiving increasing attention; however, the effect of compression on model fairness is still under explored. This is the first paper to examine the effect of distillation and pruning on the toxicity and bias of generative language models. We test Knowledge Distillation and Pruning methods on the GPT2 model and found a consistent pattern of toxicity and bias reduction after model distillation; this result can be potentially interpreted by existing line of research which describes model compression as a regularization technique; our work not only serves as a reference for safe deployment of compressed models, but also extends the discussion of "compression as regularization" into the setting of neural LMs, and hints at the possibility of using compression to develop fairer models.

研究の動機と目的

• 生成言語モデルにおける毒性やバイアスといった公平性指標に、知識蒸留とプルーニングといったモデル圧縮技術が与える影響を調査すること。
• 観察された公平性の向上が、記憶の低減によるものか、構造の単純化によるものかを特定すること。
• モデル圧縮が公平性を向上させる正則化メカニズムとして機能するかどうかを検討し、「圧縮は正則化である」という仮説をニューラル言語モデルに拡張すること。
• 圧縮モデルにおける観察された公平性向上が、モデルサイズそのものによるものか、知識蒸留によるものかを評価すること。
• リソース制約のあるデバイスへのデプロイを想定し、NLPにおける普遍的な公平性向上技術を、圧縮に基づいて同定すること。

提案手法

• GPT-2およびBlenderbot 3Bといった大きな教師モデルを用いて、知識蒸留を適用し、より小さな学生モデルを微調整することで、知識を移譲しつつモデルサイズを縮小する。
• プルーニング技術を用いてモデルパラメータを削減し、公平性指標に与える影響を評価したが、蒸留の結果と比べて明確な結論は得られなかった。
• 標準化されたベンチマークを用いてモデルの公平性を評価した：毒性にはRealToxicityPrompts、性別および社会的バイアスにはWinogrande/StereoSetを用いた。
• アブレーションスタディを実施し、蒸留の効果とモデルサイズの削減を分離した。その結果、公平性向上は蒸留そのものによるものであり、サイズの縮小だけによるものではないことが確認された。
• 生成品質を評価するため、各モデルにおける perplexity (PPL) を測定し、性能の低下または向上が公平性の変化と相関するかを検証した。
• 複数のプロンプトサンプリング戦略（毒性あり、安全、ランダム）とデータセット（RealToxicityPromptsおよびTCCC）を用いて、異なる入力およびデータ分布において、公平性トレンドの頑健性をテストした。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留は、フルサイズのモデルと比較して、生成言語モデルにおける毒性とバイアスを低減するか？
• RQ2 観察された公平性向上は、モデル圧縮そのものによるものか、モデルサイズとは独立して蒸留プロセスそのものによるものか？
• RQ3 モデル圧縮は、神経言語モデルにおける毒性とバイアスを低減する正則化の一形態と見なせるか？
• RQ4 知識蒸留とプルーニングといった異なる圧縮技術は、公平性指標にどのように影響するか。また、なぜ蒸留がより強い効果を示すのだろうか？
• RQ5 TCCCデータセットのように、トレーニング中に見られなかった分布外データに対しても、公平性の向上はどの程度持続するのか？

主な発見

• 知識蒸留は、複数のデータセットおよびサンプリング戦略において、一貫してモデルの毒性を低減しており、GPT-2モデルがトレーニング中に接触していないTCCCデータセットに対しても同様の傾向が見られた。
• Winograndeベンチマークで測定した性別バイアスは、蒸留強度が高くなるにつれて減少し、圧縮モデルにおいてバイアスが単調に減少する傾向を示した。
• StereoSetベンチマークで測定した社会的バイアスは明確なトレンドを示さず、ほとんど平坦なままだった。これは、この指標がバイアスの変化を検出するのに感受性が低いか、信頼性に欠ける可能性を示唆している。
• 毒性およびバイアスの低減は、周辺確率（perplexity）の低下によるものではない。蒸留は周辺確率が一致しない状況でも公平性を向上させているため、構造的要因やインダクティブバイアスの効果が関与していると考えられる。
• 蒸留されたモデル（例：Distilled-400M Blenderbot）は、元の3B Blenderbotモデルよりも毒性が低く、蒸留そのものが公平性向上を引き起こしていることが確認された。
• 観察された公平性向上は、学習データの単純な記憶によるものではなく、未学習データに対してもパターンが継続するため、蒸留によるより深い正則化効果が存在することが示唆された。