[論文レビュー] Style Attuned Pre-training and Parameter Efficient Fine-tuning for Spoken Language Understanding

Jin Cao, Jun Wang+3 more|arXiv (Cornell University)|Oct 9, 2020

Topic Modeling参考文献 22被引用数 5

ひとこと要約

この論文は、会話的言語モデリング（CLM）を用いてドメイン固有の会話的パターンとASRエラーへの耐性を捉えることで、スプoken言語理解（SLU）のためのスタイルに配慮した事前学習およびパrameter効率の良い微調整フレームワークを提案する。共有の事前学習エンコーダーとタスク固有の軽量アダプタを分離することで、1タスクあたり4.4%の追加パラメータで最先端のSLU性能を達成し、モデル全体の再訓練なしに効率的なドメイン適応が可能となる。

ABSTRACT

Neural models have yielded state-of-the-art results in deciphering spoken language understanding (SLU) problems; however, these models require a significant amount of domain-specific labeled examples for training, which is prohibitively expensive. While pre-trained language models like BERT have been shown to capture a massive amount of knowledge by learning from unlabeled corpora and solve SLU using fewer labeled examples for adaption, the encoding of knowledge is implicit and agnostic to downstream tasks. Such encoding results in model inefficiencies in parameter usage: an entirely new model is required for every domain. To address these challenges, we introduce a novel SLU framework, comprising a conversational language modeling (CLM) pre-training task and a light encoder architecture. The CLM pre-training enables networks to capture the representation of the language in conversation style with the presence of ASR errors. The light encoder architecture separates the shared pre-trained networks from the mappings of generally encoded knowledge to specific domains of SLU, allowing for the domain adaptation to be performed solely at the light encoder and thus increasing efficiency. With the framework, we match the performance of state-of-the-art SLU results on Alexa internal datasets and on two public ones (ATIS, SNIPS), adding only 4.4% parameters per task.

研究の動機と目的

• ドメイン固有のSLUモデルを再訓練から学習する際の高いデータおよび計算コストを低減すること。
• 事前学習モデルを新しいSLUドメインに適応させる際のパラメータ効率を向上させること。
• 事前学習段階でASRエラーおよび会話的言語パターンへの耐性を強化すること。
• 軽量でタスク固有のアダプタを通じて効果的なドメイン適応を可能にすること。
• パrameter更新を最小限に抑えながら、最先端のSLU性能を達成または上回ること。

提案手法

• マスクド言語モデリングにおいて、会話的ダイナミクスとASRエラーを明示的にモデル化する会話的言語モデリング（CLM）事前学習タスクを導入する。
• 学習可能なアダプタを介して共有の事前学習表現とタスク固有のドメイン適応を分離する、軽量なエンコーダー構造を設計する。
• 事前学習エンコーダーを固定し、下流タスクごとに軽量なアダプタヘッドのみを更新することで、パラメータ効率の良い微調整を実装する。
• タスク固有の適応の前に、大規模な未ラベル付き会話データでモデルを学習し、ドメインに依存しない言語的知識を捉える。
• 事前学習段階でマルチタスク学習の設定を採用し、会話の整合性とエラー耐性の両方を同時に最適化する。
• 微調整段階ではアダプタパラメータのみを更新することで、1タスクあたりのトレーニング可能なパラメータ数を著しく削減する。

実験結果

リサーチクエスチョン

• RQ1 会話のスタイルとASRエラーをモデル化する事前学習目的が、下流のSLU性能を向上させることができるか？
• RQ2 軽量アダプタを介したパラメータ効率の良い微調整が、最小限のパラメータ更新で競争力のあるSLU精度を達成できるか？
• RQ3 共有知識とドメイン固有の適応を分離することで、モデルの効率性と転送性が向上するか？
• RQ4 本フレームワークは、公開および社内SLUベンチマークにおいて、強力なベースラインと比較して精度とパラメータ効率の両面で優れているか？
• RQ5 完全な再訓練なしに、多様なSLUドメインに一般化できるか？

主な発見

• 提案されたフレームワークは、社内Alexaデータセットおよび公開ベンチマーク（ATISおよびSNIPS）の両方で最先端の性能を達成した。
• 1タスクあたり4.4%の追加パラメータのみを導入しながらSOTA結果を達成し、顕著にパラメータ効率が向上した。
• 会話的言語モデリング（CLM）事前学習タスクにより、ASRエラーへの耐性が向上し、会話的パターンのモデリングが改善された。
• 軽量エンコーダー構造により、最小限の計算オーバーヘッドで効果的なドメイン適応が可能となり、ベースモデルの再トレーニングが不要となった。
• アダプタを介したパラメータ効率の良い微調整により、高い性能を維持しながら1タスクあたりのトレーニング可能なパラメータ数を著しく削減した。
• 最小限のタスク固有の適応で、多様なSLUドメインにわたる強力な転送性を示した。