[論文レビュー] Speech2Slot: An End-to-End Knowledge-based Slot Filling from Speech

Pengwei Wang, Xin Ye+3 more|arXiv (Cornell University)|May 10, 2021

Natural Language Processing Techniques参考文献 32被引用数 4

ひとこと要約

本稿では、音声の発話後報とエンティティデータベースの照合タスクとしてスロット抽出を定式化することで、逐次生成ではなく、エンドツーエンドの知識ベース型スロット抽出モデルSpeech2Slotを提案する。トライツリーを用いてスロット境界を検出するとともに、ブリッジ層を用いてスロット発話音素をデコードすることで、大規模な中国語音声ナビゲーションデータセット上で83.86%の精度を達成し、従来のパイプライン型およびエンドツーエンド型手法を12.51%上回り、特に未知語（OOV）および反文法的スロットで優れた性能を発揮する。

ABSTRACT

In contrast to conventional pipeline Spoken Language Understanding (SLU) which consists of automatic speech recognition (ASR) and natural language understanding (NLU), end-to-end SLU infers the semantic meaning directly from speech and overcomes the error propagation caused by ASR. End-to-end slot filling (SF) from speech is an essential component of end-to-end SLU, and is usually regarded as a sequence-to-sequence generation problem, heavily relied on the performance of language model of ASR. However, it is hard to generate a correct slot when the slot is out-of-vovabulary (OOV) in training data, especially when a slot is an anti-linguistic entity without grammatical rule. Inspired by object detection in computer vision that is to detect the object from an image, we consider SF as the task of slot detection from speech. In this paper, we formulate the SF task as a matching task and propose an end-to-end knowledge-based SF model, named Speech-to-Slot (Speech2Slot), to leverage knowledge to detect the boundary of a slot from the speech. We also release a large-scale dataset of Chinese speech for slot filling, containing more than 830,000 samples. The experiments show that our approach is markedly superior to the conventional pipeline SLU approach, and outperforms the state-of-the-art end-to-end SF approach with 12.51% accuracy improvement.

研究の動機と目的

• 自動音声認識（ASR）の誤りによって引き起こされるパイプライン型話者理解（SLU）における誤り伝搬を是正すること。特に、語彙外語（OOV）および反文法的スロットに対して。
• エンドツーエンド型スロット抽出における逐次出力生成の限界を克服すること。これは言語モデルに強く依存しており、OOVおよび文法的でないエンティティに対して苦戦する。
• コンピュータビジョンにおけるオブジェクト検出にインspiredして、音声発話後報とエンティティデータベースの照合タスクとしてスロット抽出を新たな定式化すること。
• 今後のエンドツーエンドSLU研究を支援するため、83万件を超えるサンプルを含む大規模かつマルチリンガル（中国語）の音声→スロットデータセットを公開すること。

提案手法

• スロット抽出を照合タスクとして定式化：音声発話後報とエンティティデータベースを照合することで、スロットの開始時刻および終了時刻を検出する。この際、トライツリー構造を用いて照合処理を効率化する。
• 音声エンコーダーを用いて生の音声を処理し、発話後報を生成する。この発話後報がスロット境界検出の入力となる。
• エンティティデータベースからトライツリーを構築し、音声入力内の発話音素断片との照合を効率的に行う。
• 照合された発話音素断片に基づき、エンティティデータベースの最終的な発話音素列をブリッジ層を用いてデコードする。
• 音声モデリングとスロット照合の両方を統合的に最適化するため、アテンション機構を用いて音声と知識の対応を学習するエンドツーエンドモデルを訓練する。
• スロットの候補を閉集合として定義する知識ベース（エンティティデータベース）を活用することで、生成ではなく検出を行う。

実験結果

リサーチクエスチョン

• RQ1 音声と知識ベースの照合タスクとしてスロット抽出を定式化することで、OOVおよび反文法的スロットの処理において、逐次出力生成より優れた性能が得られるか？
• RQ2 照合に基づくエンドツーエンド型スロット抽出モデルの性能は、従来のパイプライン型SLUおよび最先端のエンドツーエンド生成型モデルと比べてどの程度優れているか？
• RQ3 知識ベース型照合アプローチは、ASRからの誤り伝搬をどの程度軽減し、実際の人間の発話に対してどれほど耐性を示すか？
• RQ4 本手法は、文法的構造を持たない未知語（OOV）スロットに対して、どの程度効果的か？

主な発見

• TTSで生成されたテストセットにおいて、ドメイン特化音声モデルを用いたSpeech2Slotは、83.86%のスロット抽出精度を達成し、次に優れたベースライン（AM+SF）を12.51ポイントも上回った。
• OOVサブセットでは、Speech2Slotは81.90%の精度を達成し、未学習スロットに対しても高い耐性を示した。一方、パイプライン型のAM+LM手法は23.18%にとどまった。
• 汎用音声モデルを用いても、Speech2Slotは人間が読み上げたテストセットで全体で72.99%の精度を達成し、次に優れた手法（AM+SF）を28.98ポイントも上回った。
• 人間発話のOOVサブセットでは、Speech2Slotは16.50%の精度を達成し、次に優れた手法の0.95%と比べて著しく優れていた。これは、実世界のシナリオでも有効であることを確認した。
• OOVおよび非OOVスロットの両方で一貫した性能を維持しており、生成型手法よりも語彙カバレッジの影響を受けにくいことが示された。
• アブレーションスタディの結果、音声認識モデルが誤って認識する反文法的エンティティ（音楽や映画タイトルなど）に対しても、照合機構の方が生成手法よりも効果的であることが確認された。