[論文レビュー] Learning to retrieve out-of-vocabulary words in speech recognition

Imran Sheikh, Irina Illina+2 more|arXiv (Cornell University)|Nov 17, 2015

Natural Language Processing Techniques参考文献 28被引用数 5

ひとこと要約

本稿では、LVCSRのトランスクリプションから得られる意味的文脈を活用することで、音声認識における未知語彙外（OOV）固有名（PN）の検索を改善する2つのニューラルネットワークモデル、D-CBOWおよびD-CBOW2を提案する。D-CBOW2モデルは、入力語の重みを動的に割り当てる文脈アンカー層を導入し、タスク固有のキーワードに焦点を当てる。フランス語放送ニュースデータを用いた実験では、これらのモデルがLDA、Skip-gram、Paragraph Vectorのベースラインを上回り、D-CBOW2+は上位8件のOOV PNsを用いてF1スコア0.34を達成した。

ABSTRACT

Many Proper Names (PNs) are Out-Of-Vocabulary (OOV) words for speech recognition systems used to process diachronic audio data. To help recovery of the PNs missed by the system, relevant OOV PNs can be retrieved out of the many OOVs by exploiting semantic context of the spoken content. In this paper, we propose two neural network models targeted to retrieve OOV PNs relevant to an audio document: (a) Document level Continuous Bag of Words (D-CBOW), (b) Document level Continuous Bag of Weighted Words (D-CBOW2). Both these models take document words as input and learn with an objective to maximise the retrieval of co-occurring OOV PNs. With the D-CBOW2 model we propose a new approach in which the input embedding layer is augmented with a context anchor layer. This layer learns to assign importance to input words and has the ability to capture (task specific) key-words in a bag-of-word neural network model. With experiments on French broadcast news videos we show that these two models outperform the baseline methods based on raw embeddings from LDA, Skip-gram and Paragraph Vectors. Combining the D-CBOW and D-CBOW2 models gives faster convergence during training.

研究の動機と目的

• 大語彙連続音声認識（LVCSR）システムにおける未知語彙外（OOV）固有名（PN）の回復という課題に取り組む。特に、放送ニュースのような縦断的音声データにおいて有効であることを目的とする。
• 頻度、最近性、固定トピックモデルに依存する従来の手法に起因する限界を克服する。これらの手法は、希少または新規のPNに対しては困難を伴う。
• LVCSRトランスクリプションからの意味的文脈を活用することで、与えられた音声文書に関連するOOV PNを学習的に検索できるニューラルネットワークモデルを開発する。
• D-CBOW2に文脈アンカー層を導入し、入力語に動的な重要度を割り当てることで、タスク固有のキーワードの特定を向上させる。
• LVCSRランチの自動キーワード検索（KWS）と組み合わせることでOOV PN回復の性能を向上させ、発音一致のF1スコアを最適化する。

提案手法

• D-CBOWおよびD-CBOW2モデルを、語彙内（IV）語および既知のPNの事前学習済みSkip-gram単語埋め込みを用いて文書レベルで学習する。
• LVCSRトランスクリプションを入力とし、IV語、PN、OOV PNの関係を捉えた文脈ベクトル空間に音声文書を射影する。
• D-CBOW2では、入力語の注意重みを学習する文脈アンカー層を導入し、OOV PN検索に適したキーワードの強調を可能にする。
• 両モデルを、同じ文書内で共起するターゲットOOV PNの検索を最大化する損失関数で最適化する。
• D-CBOWおよびD-CBOW2の文脈ベクトルを統合してD-CBOW2+モデルを構築し、学習収束を加速させるとともに性能を向上させる。
• OOV PN回復を2段階で実施する：まずモデルを用いて候補OOV PNのリストを取得し、次にLVCSRランチ上で発音キーワード検索（KWS）を実行して音声内にOOV PNが存在するかを検出する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークベースの文脈モデルは、LDA、Skip-gram、Paragraph Vectorsといった従来手法を上回り、LVCSRトランスクリプションからOOV固有名を検索できるか？
• RQ2 入力語に動的な重要度を割り当てる文脈アンカー層を導入することで、OOV PN検索の精度と耐障害性が向上するか？
• RQ3 異なる数の上位N候補OOV PNsを取得し、その後のキーワード検索に使用した場合、OOV PN回復の性能はどのように変化するか？
• RQ4 D-CBOWおよびD-CBOW2を統合したD-CBOW2+モデルは、学習収束速度と最終的な検索性能をどの程度向上させるか？
• RQ5 LVCSRトランスクリプション内の語認識誤り（例：'maïdan'の代わりに't'parti'）が、D-CBOW2のような注意ベースモデルの性能に与える影響は、D-CBOWのような平均ベースモデルと比べてどの程度か？

主な発見

• D-CBOW2モデルは、フランス語放送ニュース動画のOOV固有名の検索において、LDA、Skip-gram、Paragraph Vectorsといったベースライン手法を上回った。
• D-CBOW2モデルは、トランスクリプション内に存在するキーワード（例：'maïdan'、'kiew'）を的確に特定・強調でき、それらが存在する場合の検索精度が向上した。
• LVCSRトランスクリプション内に語誤り（例：'maïdan'の代わりに'parti'）が存在する場合、D-CBOW2モデルは特定キーワードに依存するため性能が低下するが、D-CBOWモデルは平均化によりより耐障害性が高かった。
• D-CBOWおよびD-CBOW2の出力を統合したD-CBOW2+モデルは、単体のモデルよりも学習収束が速く、性能も向上した。
• OOV PN回復の最良のF1スコアは0.34であり、D-CBOWおよびD-CBOW2+モデルが上位8件のOOV PNsを抽出した場合に達成された。それぞれの精度と再現率は、D-CBOWで0.38と0.30、D-CBOW2+で0.42と0.29であった。