[論文レビュー] DIET: Lightweight Language Understanding for Dialogue Systems

Tanja Bunk, Daksh Varshneya+2 more|arXiv (Cornell University)|Apr 21, 2020

Topic Modeling参考文献 33被引用数 113

ひとこと要約

DIETは対話システムにおける意図分類とエンティティ認識を同時に行うマルチタスクのDual Intent and Entity Transformerアーキテクチャを導入し、事前学習済み埋め込みなしでも強い結果を示し、BERTのような大規模モデルよりも学習が速い。

ABSTRACT

Large-scale pre-trained language models have shown impressive results on language understanding benchmarks like GLUE and SuperGLUE, improving considerably over other pre-training methods like distributed representations (GloVe) and purely supervised approaches. We introduce the Dual Intent and Entity Transformer (DIET) architecture, and study the effectiveness of different pre-trained representations on intent and entity prediction, two common dialogue language understanding tasks. DIET advances the state of the art on a complex multi-domain NLU dataset and achieves similarly high performance on other simpler datasets. Surprisingly, we show that there is no clear benefit to using large pre-trained models for this task, and in fact DIET improves upon the current state of the art even in a purely supervised setup without any pre-trained embeddings. Our best performing model outperforms fine-tuning BERT and is about six times faster to train.

研究の動機と目的

• 実世界のソフトウェアエコシステムにおける高速・多言語・学習可能なNLUの必要性を動機づける。
• 意図分類とエンティティ認識を jointly 処理するモジュラーなマルチタスクアーキテクチャを提案する。
• DIETにおけるスパース（ワンホット、文字n-gram）と密（事前学習済み埋め込み）特徴の影響を探る。
• 正則化としてマスク再構成目的を組み込む benefits を検討する。
• DIETを多ドメインNLUベンチマークで評価し、最先端のベースラインと比較する。

提案手法

• DIETは入力を、スパース特徴（トークンレベルのワンホット、長さ5までの文字n-gram）と密特徴（ConveRT、BERT、GloVe）からなるトークン列として featurize する。
• 密結合特徴を連結し、相対的位置付き注意機構を備えた二層のTransformerが文脈をエンコードする。
• Transformer出力の上にCRF層を置き、名前付きエンティティ認識を行う。
• 意図分類は、シーケンスのCLS表現と意図ラベルの semantic space に対するドット積損失を用い、ランキングのためのネガティブサンプリングを行う。
• Transformer出力にマスクトークン再構成目的を追加して正則化と一般特徴の学習を促す。
• 総損失は意図損失、エンティティ（CRF）損失、マスク再構成損失の加重和であり、柔軟なアブレーションを可能にする。

実験結果

リサーチクエスチョン

• RQ1 DIETは多ドメイン設定で意図分類とエンティティ認識を効果的に同時モデル化できるか。
• RQ2 スパース特徴とさまざまな事前学習済み密埋め込みを組み合わせるとNLUの性能にどのような影響があるか。
• RQ3 マスク再構成目的はDIETの一般化と精度を改善するか。
• RQ4 DIETはHERMITや微調整済みBERTなどの最先端アプローチと標準的なNLUベンチマークでどう比較されるか。
• RQ5 完全に監視付きのDIETモデルは大規模な事前学習済み言語モデルを活用したモデルと比較して競争力があり、学習速度はどれくらいか。

主な発見

• 難易度の高いNLU-Benchmarkで、スパース特徴とConveRT埋め込みを組み合わせたDIETは意図とエンティティのF1スコアが高く、意図でHERMITベースラインを上回り、エンティティのリコールも高める。
• ConveRTを用いたスパース特徴（マスク損失なし）のモデルは、意図でトップの性能を示し、エンティティでも競争力があり、両タスクのF1で最先端を約3ポイント上回る。
• アブレーション実験では、マスク損失を持つスパース特徴のみを使用すると、意図とエンティティの両方が約1ポイントずつ改善される；GloVe埋め込みとスパース特徴は競争力があり、この設定ではBERT埋め込みはタスク特異的微調整なしだとConveRTやGloVeに劣る場合がある。
• DIETは凍結したConveRT埋め込みとスパース特徴で、エンティティ認識では微調整済みBERTを上回り、意図精度は同等、学習ははるかに速く（NLU-Benchmarkで10時間対60時間）。
• ATISとSNIPSでは、スパース特徴とConveRTまたはGloVeを用いたDIETが、embeddingの微調整なしでもJoint BERTに近い競争的な結果を達成。