[論文レビュー] Efficient Contextualized Representation: Language Model Pruning for Sequence Labeling

Liyuan Liu, Xiang Ren+3 more|arXiv (Cornell University)|Apr 20, 2018

Topic Modeling参考文献 31被引用数 6

ひとこと要約

本稿では、微調整を必要とせず、スパース性誘導正則化と密結合構造を用いて、事前学習言語モデルにおけるレイヤー選択によるコンテキストに依存した表現の効率的生成を可能にするLD-Netを提案する。微調整なしにプリーニングが可能であり、CoNLL03 NERで最大91.86%のF1スコアを達成し、計算量を90%以上削減した。より小さなモデルや先行手法を上回る性能を示した。

ABSTRACT

Many efforts have been made to facilitate natural language processing tasks with pre-trained language models (LMs), and brought significant improvements to various applications. To fully leverage the nearly unlimited corpora and capture linguistic information of multifarious levels, large-size LMs are required; but for a specific task, only parts of these information are useful. Such large-sized LMs, even in the inference stage, may cause heavy computation workloads, making them too time-consuming for large-scale applications. Here we propose to compress bulky LMs while preserving useful information with regard to a specific task. As different layers of the model keep different information, we develop a layer selection method for model pruning using sparsity-inducing regularization. By introducing the dense connectivity, we can detach any layer without affecting others, and stretch shallow and wide LMs to be deep and narrow. In model training, LMs are learned with layer-wise dropouts for better robustness. Experiments on two benchmark datasets demonstrate the effectiveness of our method.

研究の動機と目的

• 推論時の計算コストを、大規模な事前学習言語モデルのシーケンスラベリングタスクにおいて低減すること。
• 再訓練にかかるコストが高いため、順序依存性を持つRNNアーキテクチャにおいても、高価な再訓練を伴わずモデル圧縮を可能にすること。
• 特定の下流タスクに最も関連するレイヤーのみを特定し、保持すること。
• 構造的プリーニングを通じて、モデルサイズと推論コストを大幅に削減しながらも、高い性能を維持すること。
• 既存の言語モデルおよび下流モデルと互換性がある、即挿し可能な圧縮フレームワークの開発

提案手法

• RNNに密結合構造を導入することで、レイヤーの独立した分離を可能にし、ネットワーク構造の破壊を回避しながらレイヤーのプリーニングを実現する。
• スパース性誘導正則化（変更されたL1正則化）を適用し、二値選択重みを促進することで、スパースかつ二値のレイヤー選択を促進する。
• トレーニング中にレイヤーごとのドロップアウトを適用し、その後のプリーニングにおけるロバスト性と一般化性能を向上させる。
• ターゲットタスクに最も情報量の多いレイヤーのみを特定・保持する、学習可能なレイヤー選択メカニズムを採用する。
• 密結合構造を用いて、広く浅いRNNを深く細いアーキテクチャに置き換えることで、細かく制御されたプリーニングを可能にする。
• 最終タスク性能への寄与度に基づいてレイヤーを選択するプリーニング戦略を設計し、完全な再トレーニングを回避する。

実験結果

リサーチクエスチョン

• RQ1 再訓練を伴わず、性能を維持したまま、大規模な事前学習言語モデルをシーケンスラベリングタスクに圧縮することは可能か？
• RQ2 標準的なスタッキング構造では独立したレイヤーの削除が不可能であるが、RNNレイヤーの構造的プリーニングをどのように可能にするか？
• RQ3 密結合構造が、効率的かつロバストなモデルプリーニングをどのように実現するか？
• RQ4 レイヤー選択によって、FLOPsを大幅に削減しながらも、シーケンスラベリングタスクの性能をどの程度維持できるか？
• RQ5 レイヤーごとのドロップアウトとスパース正則化を用いてトレーニングされたプリーニングモデルは、独立して学習された小さなモデルを上回る性能を示すか？

主な発見

• CoNLL03 NERデータセットにおいて、LD-Netは91.86% ± 0.15%のF1スコアを達成し、未プリーニングのベースライン（90.78% ± 0.24%）を顕著に上回った。
• FLOPsの90%以上を削減したにもかかわらず、プリーニング後のモデルは91.84% ± 0.14%のF1スコアを維持し、より小さなモデルや先行手法（TagLM: 91.62%、R-ELMo: 91.54%）を上回った。
• CoNLL03において、計算量を90%以上削減したにもかかわらず、誤差はわずか2%の相対的増加にとどまり、極めて高い効率性を示した。
• CoNLL00 Chunkingタスクでは、NoLMベースラインに対して25%の誤差低減を達成したが、データセットサイズが小さいため、性能の劣化が早く進行した。
• レイヤー選択には二つの明確なクラスタが存在する：一部のレイヤーは一貫して保持され、他のレイヤーは頻繁にプリーニングされる。これは、レイヤー重要度に意味のある構造的パターンがあることを示している。
• 複数回の実行および複数のデータセットにおいて一貫した性能向上が確認され、極めて激しいプリーニングに対しても劣化が最小限に抑えられ、本手法の有効性が裏付けられた。