[論文レビュー] End-to-end named entity extraction from speech

Sahar Ghannay, Antoine Caubrière+3 more|arXiv (Cornell University)|May 30, 2018

Topic Modeling参考文献 20被引用数 19

ひとこと要約

本論文では、文字レベルのCTCデコードを用いた変更版Deep Speech 2モデルに、固有表現の境界および種別を示す特別トークンを追加することで、生音声から一括して自動音声認識（ASR）と固有表現抽出（NER）を同時に行うエンドツーエンドのニューラルアーキテクチャを提案する。この手法は、テストデータにおいてF-measure 0.69を達成し、従来のパイプライン手法（F-measure 0.65）を上回った。

ABSTRACT

Named entity recognition (NER) is among SLU tasks that usually extract semantic information from textual documents. Until now, NER from speech is made through a pipeline process that consists in processing first an automatic speech recognition (ASR) on the audio and then processing a NER on the ASR outputs. Such approach has some disadvantages (error propagation, metric to tune ASR systems sub-optimal in regards to the final task, reduced space search at the ASR output level...) and it is known that more integrated approaches outperform sequential ones, when they can be applied. In this paper, we present a first study of end-to-end approach that directly extracts named entities from speech, though a unique neural architecture. On a such way, a joint optimization is able for both ASR and NER. Experiments are carried on French data easily accessible, composed of data distributed in several evaluation campaign. Experimental results show that this end-to-end approach provides better results (F-measure=0.69 on test data) than a classical pipeline approach to detect named entity categories (F-measure=0.65).

研究の動機と目的

• 従来のパイプライン型ASR-NERシステムにおける誤り伝搬および最適でないメトリクスの整合性問題を解消するため、両タスクを1つのニューラルアーキテクチャに統合する。
• 音声認識出力に適用されるルールベースおよび機械学習ベースのNERシステムの限界を克服する。これは、転写誤りに起因して誤りが生じやすいからである。
• 中間のテキスト変換を回避する直接的な音声からNERへのマッピングを可能にするエンドツーエンド学習の可能性を検討する。
• マルチタスク学習（ASR + NER）と、自動的にアノテートされたASR出力を用いたデータ拡張により、耐性および性能を向上させる。
• 品詞タグ付けなどの言語的特徴および特別なトレーニングモード（例：「スターモード」）がNER性能に与える影響を調査する。

提案手法

• 固有表現の種別（例：[PER]、[LOC]、[ORG]）および境界を示す特別トークンを含む、変更された文字セットを用いてDeep Speech 2エンドツーエンドASRモデルを適応させる。
• 生音声から直接、文字列（固有表現タグを含む）を予測するため、接続主義的時系列分類（CTC）損失を用いてモデルを学習する。
• 共有表現学習を可能にするために、トレーニング中にASRおよびNERの両目的を同時に最適化することでマルチタスク学習を実装する。
• 事前学習済みNERシステム（NeuroNLP2）を用いてASR出力に固有表現を自動的にラベル付けすることで、合成トレーニングデータを作成し、データ拡張を実施する。
• トレーニング中に「スターモード」と呼ばれるモードを導入し、固有表現予測に注目を集中させることで、モデルの焦点をこれらのターゲットに高める。
• NER推論には、双方向LSTM（BLSTM）にCNNおよびCRF層を組み合わせ、品詞タグ付けを言語的特徴として統合して性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 生音声から一括して音声認識と固有表現抽出を学習できるエンドツーエンドのニューラルアーキテクチャは、従来のパイプラインシステムを上回る性能を発揮できるか？
• RQ2 ASRとNERを統合的に学習するマルチタスク学習は、分離して学習する場合と比較して、固有表現検出性能にどのように影響を与えるか？
• RQ3 自動的にアノテートされたASR出力を用いたデータ拡張は、音声からのエンドツーエンドNERの耐性および正確性をどの程度向上させるか？
• RQ4 固有表現予測に注目を向ける「スターモード」トレーニング戦略は、実測のF-measure向上に寄与するか？
• RQ5 品詞タグ付けなどの言語的特徴は、音声からのエンドツーエンドNERの性能にどのように影響を与えるか？

主な発見

• エンドツーエンドモデルは、固有表現種別検出においてテストセットでF-measure 0.69を達成し、パイプライン手法のF-measure 0.65を上回った。
• データ拡張と「スターモード」トレーニングを組み合わせたエンドツーエンドアプローチにより、種別検出のF-measureが0.69に向上し、共同最適化と焦点を当てたトレーニングの有効性が示された。
• パイプライン手法は、固有表現値の検出において依然としてエンドツーエンドモデルを上回った（F-measure 0.50 対 0.47）、すなわち、値抽出における性能ギャップが存在した。
• 品詞タグ付けの統合は、パイプラインおよびエンドツーエンド両設定でNER性能を顕著に向上させ、言語的特徴の価値を確認した。
• 自動的にラベル付けされたASR出力を用いたデータ拡張は、特に「スターモード」と組み合わせた場合に、エンドツーエンドモデルの性能向上に寄与した。
• 本研究は、音声からNERへのエンドツーエンド学習が実現可能であり、特に種別検出においてパイプラインシステムの有望な代替手段であることを確認した。