[論文レビュー] Semi-Supervised Spoken Language Understanding via Self-Supervised Speech and Language Model Pretraining

Cheng-I Lai, Yung-Sung Chuang+3 more|arXiv (Cornell University)|Oct 26, 2020

Topic Modeling参考文献 37被引用数 4

ひとこと要約

本稿では、事前学習済み自己教師付きASRおよびBERTモデルを用いて、rawな音声から直接テキスト、意図、スロットラベルを共同で予測する、半教師ありエンドツーエンドの spoken language understanding (SLU) フレームワークを提案する。教師ありまたは教師なしの事前学習を通じて、ラベルなし音声データを活用することで、ノイズのある条件下でもATISでオラクル・テキストモデルと同等の性能を達成し、最小限のラベル付きデータで強い耐障害性と意味的一般化能力を示す。

ABSTRACT

Much recent work on Spoken Language Understanding (SLU) is limited in at least one of three ways: models were trained on oracle text input and neglected ASR errors, models were trained to predict only intents without the slot values, or models were trained on a large amount of in-house data. In this paper, we propose a clean and general framework to learn semantics directly from speech with semi-supervision from transcribed or untranscribed speech to address these issues. Our framework is built upon pretrained end-to-end (E2E) ASR and self-supervised language models, such as BERT, and fine-tuned on a limited amount of target SLU data. We study two semi-supervised settings for the ASR component: supervised pretraining on transcribed speech, and unsupervised pretraining by replacing the ASR encoder with self-supervised speech representations, such as wav2vec. In parallel, we identify two essential criteria for evaluating SLU models: environmental noise-robustness and E2E semantics evaluation. Experiments on ATIS show that our SLU framework with speech as input can perform on par with those using oracle text as input in semantics understanding, even though environmental noise is present and a limited amount of labeled semantics data is available for training.

研究の動機と目的

• 従来のSLUシステムがオラクル・テキストに依存する、意図のみを予測する、または大規模な社内データセットを必要とするという限界を解消すること。
• 限られたラベル付き意味データを用いた半教師あり学習により、rawな音声からのエンドツーエンドSLUを可能にすること。
• 環境ノイズやエンドツーエンドの意味理解を含む現実的状況下でのSLUモデルの評価を行うこと。
• 限られたラベル付きデータがある状況下で、自己教師付き音声表現学習（例：wav2vec）が下流のSLUタスクにどの程度有効であるかを調査すること。
• 追加の損失調整やASRのn-best仮説処理を必要とせず、音声からテキスト、意図、スロットラベルを統合的に予測するフレームワークを構築すること。

提案手法

• 事前学習済みエンドツーエンドASRモデルと、限られたラベル付きSLUデータで微調整された自己教師付き言語モデル（例：BERT）を統合する。
• 2つの事前学習戦略を評価する：音声の字幕付きデータを用いた教師ありASR事前学習と、未字幕音声を用いたwav2vecによる自己教師あり事前学習。
• 単一のエンドツーエンドアーキテクチャを通じて、テキスト生成、意図分類、スロットラベル付けを同時に実行する。
• 自己教師あり事前学習では、wav2vec 1.0のコンテキストベクトル（c）を入力特徴として用い、系列長を短くするためにサブサンプリング層を適用する。
• 耐障害性を向上させるために、トレーニング中にMS-SNSDノイズファイルを用いて複数のSNRレベル（0–40 dB）でノイズ増幅を実施する。
• ラベルプロジェクションや出力シリアル化、n-best仮説デコードを回避し、洗練された汎用性の高いパイプラインを維持する。

Fig. 1 : Comparison of input/output pairs of our proposed framework with past work, which are categorized as one of: (A) NLU, which assumes oracle text as input instead of speech, (B) predicting intent only from speech, ignoring their slot values, and (C) predicting text, intent, and slots from spee

実験結果

リサーチクエスチョン

• RQ1 直接音声から学習するエンドツーエンドSLUモデルは、オラクル・テキストの字幕を用いたモデルと同等の性能を達成できるか？
• RQ2 限られたラベル付きデータがある状況下で、自己教師付き音声表現（例：wav2vec）の自己教師あり事前学習は、SLUタスクにどの程度有効か？
• RQ3 ノイズ増幅は、現実の環境下でのSLUモデルの耐障害性をどの程度向上させるか？
• RQ4 追加の損失調整やASRの後処理を必要とせず、音声からテキスト、意図、スロットラベルを統合的に予測する統合フレームワークは可能か？
• RQ5 自己教師付き音声表現を用いて学習したSLUモデルの性能は、教師ありASR事前学習から微調整したモデルと比べてどの程度か？

主な発見

• 提案されたエンドツーエンドSLUフレームワークは、ノイズのあるATISテストセットで97.4%の意図F1と95.46%のスロットF1を達成し、クリーンテストと比較して1–2%の低下に抑え、ノイズ条件下ではハイブリッドASR+BERTを約40%上回る性能を示した。
• wav2vec 1.0のコンテキストベクトル（c）にサブサンプリング層を適用したモデルは、クリーンATISで95.67%の意図F1と85.64%のスロットF1を達成し、教師あり事前学習との差を埋めつつある。
• wav2vec c特徴を用いた2段階ベースラインは、89.86%の意図F1と67.33%のスロットF1を達成し、字幕なしでも自己教師付き音声表現が意味的学習を可能にすることを示している。
• 5種類の異なるSNRレベル（0–40 dB）でノイズ増幅を実施したことで、性能の低下が顕著に抑制され、厳しい音響条件下でも高い正確性を維持した。
• 自己教師あり事前学習を用いたエンドツーエンドモデルは、オラクル・テキストベースラインと同等の性能を示し、5%の「コーパス誤り」範囲に収まり、強い意味的一般化能力を示した。
• ラベルプロジェクションや出力シリアル化、n-best ASR仮説を必要としていない先行手法に比べ、本フレームワークは洗練されており、より汎用性の高いソリューションを提供している。

Fig. 2 : Our proposed semi-supervised learning framework with ASR and BERT for joint intent classification (IC) and slot labeling (SL) directly from speech. (A) shows the end-to-end approach, in which E2E ASR and BERT are trained jointly by predicting text and IC/SL. (B) shows the 2-Stage baseline,