[論文レビュー] Unsupervised Transfer Learning for Spoken Language Understanding in Intelligent Agents

Aditya Siddhant, Anuj Goyal+1 more|arXiv (Cornell University)|Nov 13, 2018

Topic Modeling参考文献 21被引用数 4

ひとこと要約

本論文は、大量のラベルなしASRトランスクリプトを活用して意図分類およびエンティティタギングを向上させる、スプoken言語理解（SLU）のための軽量な自己教師あり事前学習手法であるELMo-Light（ELMoL）を提案する。自己教師ありの転移学習が、特に低リソース設定下で、学習から再開する場合や従来の教師あり転移を上回ることを示しており、わずか1,000件のドメイン内ラベル付きデータで、10–15倍のラベル付きデータ（10,000–15,000件）を用いた学習と同等の性能を達成している。

ABSTRACT

User interaction with voice-powered agents generates large amounts of unlabeled utterances. In this paper, we explore techniques to efficiently transfer the knowledge from these unlabeled utterances to improve model performance on Spoken Language Understanding (SLU) tasks. We use Embeddings from Language Model (ELMo) to take advantage of unlabeled data by learning contextualized word representations. Additionally, we propose ELMo-Light (ELMoL), a faster and simpler unsupervised pre-training method for SLU. Our findings suggest unsupervised pre-training on a large corpora of unlabeled utterances leads to significantly better SLU performance compared to training from scratch and it can even outperform conventional supervised transfer. Additionally, we show that the gains from unsupervised transfer techniques can be further improved by supervised transfer. The improvements are more pronounced in low resource settings and when using only 1000 labeled in-domain samples, our techniques match the performance of training from scratch on 10-15x more labeled in-domain data.

研究の動機と目的

• 大量のラベルなしASR出力文を活用することで、教師ありSLU学習の高コストおよびスケーラビリティの制限を克服すること。
• リアルタイムでリソース制約のあるSLUシステムへの導入に適した、ELMoのより高速で軽量な代替手法を開発すること。
• ベンチマークおよび実世界の商用SLUデータセットにおける自己教師あり転移学習の有効性を評価すること。
• 低リソースSLUタスクにおいて、自己教師ありと教師ありの転移学習を組み合わせた場合の追加的利点を調査すること。
• ラベル付きデータが限られる状況で、自己教師あり事前学習が教師あり転移を上回ることを実証すること。

提案手法

• 大規模なラベルなしASRトランスクリプト上で訓練されたELMo風の文脈依存語表現を用いて、SLUのための豊かな言語表現を捉える。
• ELMo-Light（ELMoL）は、パラメータ数を削減（37M vs. 140M）し、メモリ使用量も低減した、ELMoの簡素化・高速化・小型化された代替手法である。
• ドメインに整合しないラベルなしデータ上で自己教師あり事前学習を実施し、その後、少量のドメイン内ラベル付きデータで微調整する。
• 継続的忘却を防ぐために、段階的アンフリーージング（guf）、特徴的微調整（discr）、三角学習率（tlr）などの訓練戦略を用いる。
• 教師あり転移は、事前学習済みモデルをドメイン内ラベル付きデータで微調整することで実現し、自己教師ありと教師ありの両方の知識転送を組み合わせる。
• フレームワークは、公開ベンチマーク（ATIS、SNIPS）および内部商用データセットを用い、さまざまなデータリソースレベルで評価されている。

実験結果

リサーチクエスチョン

• RQ1 大規模なラベルなしASRトランスクリプト上で自己教師あり事前学習を実施することで、学習から再開する場合に比べてSLU性能が顕著に向上するか？
• RQ2 ELMo-Light（ELMoL）は、ELMoと同等の性能を達成しながら、著しく高速かつメモリ効率が良いか？
• RQ3 自己教師ありと教師ありの転移技術はどのように相互作用し、性能向上に加法的効果をもたらすか？
• RQ4 自己教師あり転移は、低リソースSLU設定において、大規模なラベル付きデータセットへの依存度をどの程度低減できるか？
• RQ5 ラベル付きデータが限られる状況で、自己教師あり転移が従来の教師あり転移を上回るか？

主な発見

• ELMo-Light（ELMoL）は、内部ドメインAとBでそれぞれ36.86%および28.42%のSERスコアを達成し、FastTextを上回り、ELMoの36.58%および27.95%に近い性能を示した。
• ATISデータセットでは13.38%のSERを達成し、FastText（15.01%）を上回り、ELMo（12.65%）に近い性能を示した。SNIPSでは15.62%のSERを達成し、SOTAの16.00%を上回った。
• ドメイン内ラベル付きデータがたった1,000件の状況でも、ELMoLベースのモデルは、10,000–15,000件のラベル付きデータで学習から再開した場合と同等の性能を達成した。
• 自己教師ありと教師ありの転移を組み合わせた（UT+ST）場合、性能向上が加法的であることが示された：ドメインAではELMo+STで35.86%のSERを達成し、UT単体の36.58%から低下した。
• ELMoLは推論時に1.6倍、学習時に1.8倍高速で、メモリ使用量は4分の1（37M vs. 140Mパラメータ）にまで削減された。
• アブレーションスタディにより、段階的アンフリーージングや特徴的微調整といった訓練技術が、複数のデータセットで一貫してELMoLの性能向上に寄与することが確認された。