[論文レビュー] Efficient Dynamic WFST Decoding for Personalized Language Models

Jun Liu, Jiedan Zhu+2 more|arXiv (Cornell University)|Oct 23, 2019

Algorithms and Data Compression参考文献 9被引用数 6

ひとこと要約

本稿では、音声認識におけるパーソナライズド言語モデルを用いた動的WFSTデコードを高速化する二層キャッシュ機構—パブリックおよびプライベート—を提案する。グローバルに静的グラフ部品を事前に合成し、ユーザー固有の言語モデル状態をローカルにキャッシュすることで、マルチターン対話においてデコード時間を5倍短縮し、WERへの影響は最小限に抑えられ、高同時接続環境におけるメモリ効率も向上する。

ABSTRACT

We propose a two-layer cache mechanism to speed up dynamic WFST decoding with personalized language models. The first layer is a public cache that stores most of the static part of the graph. This is shared globally among all users. A second layer is a private cache that caches the graph that represents the personalized language model, which is only shared by the utterances from a particular user. We also propose two simple yet effective pre-initialization methods, one based on breadth-first search, and another based on a data-driven exploration of decoder states using previous utterances. Experiments with a calling speech recognition task using a personalized contact list demonstrate that the proposed public cache reduces decoding time by factor of three compared to decoding without pre-initialization. Using the private cache provides additional efficiency gains, reducing the decoding time by a factor of five.

研究の動機と目的

• パーソナライズド言語モデルを用いた動的WFSTベース音声認識のデコード効率を向上させること。
• リアルタイムボイスアシスタントにおけるユーザー固有言語モデルのオンザフライ合成に起因する高遅延およびメモリオーバーヘッドを解消すること。
• マルチユーザー・マルチスレッドの本番環境において、低遅延かつスケーラブルなパーソナライズド言語モデルのデプロイを可能にすること。
• 認識精度を損なわずに動的グラフ合成の計算コストを低減すること。

提案手法

• パブリックキャッシュを導入し、WFSTの静的HCL部品を全ユーザーに共有して事前に合成する。
• プライベートキャッシュを実装し、各ユーザーの会話セッション内での発話にわたって、パーソナライズド言語モデルFSTを保存・再利用する。
• 幅優先探索（BFS）に基づく簡略化された事前初期化手法を用い、HCLグラフ内の非終端状態を事前に合成する。
• 少数の事前発話データセットを用いて状態展開を誘導するデータ駆動型事前初期化技術を提案し、BFSに比べて効率性を向上させる。
• 両事前初期化手法を組み合わせることで、最適なパフォーマンスとメモリ効率を達成する。
• デコード中にクラスベース言語モデルをユーザー固有FSTに動的に置き換えるFSTリプレースを適用し、オンデマンド合成を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 静的WFST部品の事前合成は、動的言語モデル環境におけるデコード遅延を低減できるか？
• RQ2 データ駆動型事前初期化手法は、幅優先探索に比べてデコード速度およびメモリ効率で優れているか？
• RQ3 ユーザー固有言語モデル用プライベートキャッシュは、マルチターン対話システムにおける効率向上にどの程度寄与するか？
• RQ4 高同時接続下で、事前合成グラフと完全に動的グラフの間のメモリコストの差益はどの程度か？

主な発見

• パブリックキャッシュを用いた事前合成により、完全に動的デコードと比較してデコード時間が3倍短縮された。
• データ駆動型事前初期化手法は、RTF低減およびメモリ効率の両面でBFSを上回った。
• 5ターンのマルチターン対話セッションにおいて、プライベートキャッシュにより完全に動的デコードと比較してデコード時間が5倍短縮された。
• 追加の同時リクエスト1件あたりのメモリコストは、事前合成グラフの方が完全に動的グラフに比べ1.5倍低い。
• BFS事前合成を5ステップを超えて延長してもRTFのさらなる改善は得られず、まれな状態合成に起因してメモリ使用量が増加した。
• 両事前初期化手法を組み合わせることで最良のパフォーマンスが達成され、RTFが低減され、p50/p95パーセンタイルギャップも狭くなった。