[論文レビュー] Multi-Domain Adversarial Learning for Slot Filling in Spoken Language Understanding

Bing Liu, Ian Lane|arXiv (Cornell University)|Nov 30, 2017

Domain Adaptation and Few-Shot Learning参考文献 11被引用数 25

ひとこと要約

本稿では、スプoken言語理解（SLU）におけるスロット抽出のための共有でドメインに依存しない表現を学習するために、マルチドメイン敵対的学習を提案する。ドメイン識別子を隠蔽するためにドメイン敵対的損失を用いてドメイン一般のモデルを訓練することで、ドメイン間一般化性能が向上し、非敵対的モデルよりも高いF1スコアを達成するとともに、ドメイン特化モデルと共同最適化された場合に優れた性能を発揮する。

ABSTRACT

The goal of this paper is to learn cross-domain representations for slot filling task in spoken language understanding (SLU). Most of the recently published SLU models are domain-specific ones that work on individual task domains. Annotating data for each individual task domain is both financially costly and non-scalable. In this work, we propose an adversarial training method in learning common features and representations that can be shared across multiple domains. Model that produces such shared representations can be combined with models trained on individual domain SLU data to reduce the amount of training samples required for developing a new domain. In our experiments using data sets from multiple domains, we show that adversarial training helps in learning better domain-general SLU models, leading to improved slot filling F1 scores. We further show that applying adversarial learning on domain-general model also helps in achieving higher slot filling performance when the model is jointly optimized with domain-specific models.

研究の動機と目的

• スプoken言語理解（SLU）システムにおけるドメイン特化データのアノテーションの高コストとスケーラビリティの問題に対処する。
• 大規模なドメイン内アノテーションに依存しない、複数のタスクドメインに跨る共有でドメイン一般の表現を学習する。
• 敵対的特徴学習を用いてドメイン一般モデルとドメイン特化モデルを共同で最適化することで、スロット抽出の性能を向上させる。
• 敵対的訓練を通じてクロスドメイン知識を活用することで、リソースが限られたドメインにおける一般化性能を向上させる。
• ドメイン一般モデルの敵対的訓練が、ドメイン特化モデルと組み合わせた場合に性能向上をもたらすかどうかを調査する。

提案手法

• 発話文から文脈的な語の表現を生成するためのbi-LSTMエンコーダを訓練し、その後にスロットタギング用のCRF層を適用する。
• 入力発話文のドメインをbi-LSTMの隠れ状態に基づいて分類するドメイン識別器を導入する。
• 勾配反転を用いてドメイン識別器の精度を最小化することで、敵対的訓練を実施し、エンコーダがドメインに依存しない特徴を学習するように強制する。
• スロットタギング損失と敵対的ドメイン分類損失の組み合わせによる損失関数を最適化し、ハイパーパrameter λ を用いてトレードオフを制御する。
• 同じエンコーダと敵対的訓練目的関数を共有することで、ドメイン一般モデルとドメイン特化モデルを共同で訓練する。
• 安定した学習のため、勾配クリッピング、ドロップアウト（0.5）、Adam最適化（初期学習率1e-3）を用いる。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練は、複数のSLUドメインに跨るスロット抽出のためのドメインに依存しない表現を効果的に学習できるか？
• RQ2 敵対的損失を用いて訓練されたドメイン一般モデルは、非敵対的ドメイン一般モデルに比べてスロット抽出のF1スコアで優れているか？
• RQ3 ドメイン一般モデルとドメイン特化モデルを共同で最適化することで、個別モデルに比べて全体のスロット抽出性能が向上するか？
• RQ4 敵対的損失のスケール（λ）は、ドメイン一般モデルおよび統合モデルの性能にどのように影響するか？
• RQ5 敵対的学習は、新しいSLUドメインを開発するためのデータ要件をどの程度低減できるか？

主な発見

• 敵対的訓練を施したドメイン一般モデル（λ = 0.01）は、統合テストセットで76.55のF1スコアを達成し、非敵対的ドメイン一般モデル（76.03 F1）を上回った。
• MIT映画（eng）コーパスでは、敵対的ドメイン一般モデルがF1を82.95から83.03に向上させ、全ドメインにわたり一貫した向上を示した。
• 敵対的訓練を施した統合モデルは、MIT映画（eng）コーパスでドメイン特化モデル単体に比べ1.90%、trivia10k13コーパスで1.69%のF1スコア向上を達成した。
• 高い敵対的損失スケール（λ = 1.0）を用いた場合、性能が著しく低下し、統合セットでのF1スコアが66.66に低下した。これは過剰正則化の兆候である。
• 敵対的訓練を施した統合モデルは、4つのデータセットのうち3つで最高のF1スコアを達成し、アンサンブル設定における敵対的学習の利点を示した。
• ドメイン一般モデルの誤りは、しばしば他のドメインの意味的に類似したが不適切なラベルを割り当てることに起因しており、ドメインに依存しない表現学習の重要性を浮き彫りにした。