[論文レビュー] SkillNet-NLU: A Sparsely Activated Model for General-Purpose Natural Language Understanding

Fan Zhang, Duyu Tang+4 more|arXiv (Cornell University)|Mar 7, 2022

Topic Modeling被引用数 7

ひとこと要約

SkillNet-NLUは、感情分析や質問理解などのタスク固有のスキルモジュールを動的に有効化することで、全パラメータのファインチューニングを避ける、スパースに活性化される汎用的自然言語理解モデルを提案する。6つのNLUタスクにおいて、タスク固有のファインチューニングおよびマルチタスクベースラインを上回り、スパースな事前学習によりさらなる性能向上が得られ、災難的忘却を回避しながら既存のスキルを再利用することで、新しいタスクへのゼロショット一般化性能が顕著である。

ABSTRACT

Prevailing deep models are single-purpose and overspecialize at individual tasks. However, when being extended to new tasks, they typically forget previously learned skills and learn from scratch. We address this issue by introducing SkillNet-NLU, a general-purpose model that stitches together existing skills to learn new tasks more effectively. The key feature of our approach is that it is sparsely activated guided by predefined skills. Different from traditional dense models that always activate all the model parameters, SkillNet-NLU only activates parts of the model parameters whose skills are relevant to the target task. When learning for a new task, our approach precisely activates required skills and also provides an option to add new skills. We evaluate on natural language understandings tasks and have the following findings. First, with only one model checkpoint, SkillNet-NLU performs better than task-specific fine-tuning and two multi-task learning baselines (i.e., dense model and Mixture-of-Experts model) on six tasks. Second, sparsely activated pre-training further improves the overall performance. Third, SkillNet-NLU significantly outperforms baseline systems when being extended to new tasks.

研究の動機と目的

• 単一タスクのファインチューニングにおける災難的忘却を解消するため、以前に学習したスキルを保持・再利用できるモデルの構築。
• モデルの能力を解釈可能で再利用可能なスキルモジュールに分解することで、多様なNLUタスクにおける一般化性能の向上。
• 推論時に関連するみだりにのみスキルモジュールを動的に有効化することで、パラメータの有効化を削減し、効率性の向上。
• スパースに活性化される事前学習の有効性が、モデルのパフォーマンスと転送性に与える影響の調査。
• マルチタスクのファインチューニングとスパースな事前学習を両立できるフレームワークの構築により、新しいタスクへのスケーラビリティの向上。

提案手法

• モデルは、事前に定義されたパラメータ化されたスキルモジュールの集合（例：s1は系列表現、s4は感情理解）に基づいて構成され、それぞれが特定の言語的機能に対応する。
• 推論時には、ターゲットタスクに関連するスキルモジュールのみが有効化され、他のモジュールは無効化される（スパースな活性化）。
• 未確認または複合的なタスクに対応するため、常に有効なユニバーサルデフォルトスキル（s7）が用意され、モデルの堅牢性を確保する。
• マルチタスクのファインチューニングとスパースな事前学習の両方をサポートし、事前学習時には関連するスキルモジュールのみが更新される。
• 各スキルにはモジュラーなフィードフォワードネットワーク（FFN）構造が用いられ、中国語BERTから初期化され、スキルの段階的追加が可能。
• マルチタスク学習におけるサンプリングレートは、データセットのバランスを維持するために調整され、α=1.0が性能劣化を避ける最適な値であると判明。

実験結果

リサーチクエスチョン

• RQ1 再利用可能なスキルモジュールを有するスパースに活性化されるモデルは、複数のNLUタスクにおいて、タスク固有のファインチューニングを上回る性能を発揮できるか？
• RQ2 スキルモジュールのスパースな活性化は、特に新しいタスクへの拡張において、パフォーマンスと一般化性能にどのように影響するか？
• RQ3 スパースに活性化される事前学習は、密度的な事前学習と比較して、全体のパフォーマンスと転送性を向上させるか？
• RQ4 個々のスキルモジュールはモデルパフォーマンスにどの程度寄与しているか。また、特定のタスクにおいて最も重要なスキルは何か？
• RQ5 スキルレイヤーの数が、マルチタスクおよびゼロショット設定におけるモデル容量とパフォーマンスに与える影響はどの程度か？

主な発見

• SkillNet-NLUは6つのNLUタスクで平均77.37のスコアを達成し、タスク固有のファインチューニングおよび2つのマルチタスク学習ベースライン（密度モデルおよびMoE）を上回った。
• アブレーションスタディの結果、どのスキルを削除してもパフォーマンスが低下し、特にすべてのタスクに共有される汎用的スキルs7を削除した場合に最も顕著な低下が見られた。
• 感情理解（s4）や質問理解（s5）といったタスク固有のスキルを削除すると、それぞれのタスクで急激なパフォーマンス低下が発生し、それらの必要性が確認された。
• スキルモジュールのレイヤー数が増えるほど、モデルのパフォーマンスが一貫して向上し、3レイヤーで76.5%、12レイヤーで77.4%の平均スコアを記録した。これはスケーラビリティと学習能力の向上を示している。
• スパースな事前学習によりパフォーマンスがさらなる向上を示し、関連スキルの選択的学習が一般化性能と効率性の向上に寄与することが示唆された。
• 新しいタスクへの拡張において、SkillNet-NLUはベースラインを著しく上回り、再訓練なしに既存のスキルを再利用することで、強力なゼロショット転送性能を示した。