[論文レビュー] Snips Voice Platform: an embedded Spoken Language Understanding system for private-by-design voice interfaces

Alice Coucke, Alaa Saade+10 more|arXiv (Cornell University)|May 25, 2018

Speech Recognition and Synthesis参考文献 35被引用数 299

ひとこと要約

本論文は、IoTマイクロプロセッサ上で動作するオフラインかつプライバシー保護型のSLUスタックを詳述し、NN/HMM音響モデルとクラスベースの動的LM/NLU、さらにデバイス上での個人化と信頼度スコアリングを特徴とする。

ABSTRACT

This paper presents the machine learning architecture of the Snips Voice Platform, a software solution to perform Spoken Language Understanding on microprocessors typical of IoT devices. The embedded inference is fast and accurate while enforcing privacy by design, as no personal user data is ever collected. Focusing on Automatic Speech Recognition and Natural Language Understanding, we detail our approach to training high-performance Machine Learning models that are small enough to run in real-time on small devices. Additionally, we describe a data generation procedure that provides sufficient, high-quality training data without compromising user privacy.

研究の動機と目的

• 制約されたデバイス上でリアルタイムに動作し、ユーザデータをクラウドへ送信しない組み込みSLUパイプラインを実証する。
• IoTハードウェアに適した小型で頑健な音響モデルとドメイン適応型言語モデルを開発する。
• プライバシーを保つためのデバイス上の個人化と効率的なデータ生成を可能にする。
• 限られたハードウェアでエンドツーエンドの音声-to意味の訓練、デコード、評価の再現可能なアプローチを示す。

提案手法

• ノイズの多い・残響条件を模擬するデータ拡張を用いて、数百〜数千時間のデータで訓練されたコンパクトな NN/HMM 音響モデルを構築する。
• Raspberry Pi 3の制約に合わせて構成されたハイブリッド TDNN-LSTM アーキテクチャを使用する。
• ドメイン適応されたクラスベース言語モデル（G）を、語彙表（L）および HCL コンポーネントと組み合わせて、動的デコードグラフを形成する。
• メモリ使用量を削減しデバイス上の更新を可能にするため、HCLGデコードに対して遅延（動的）結合を採用する。
• プライベートデータをデバイス外へ送信せずにLMを個人化するためのデバイス上エンティティ注入を実装する。
• 誤認識ネットワークを介した語レベルの信頼度スコアリング機構を組み込み、OOVを検出しエンドツーエンドSLUの性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 小型の組み込みデバイスで高精度を維持しつつリアルタイム性能を実現し、エンドツーエンドSLUを達成するにはどうすればよいか。
• RQ2 プライバシーを損なうことなく、デバイス上でドメイン特有のクエリに適応・個人化された言語モデルをどのように作るか。
• RQ3 IoTハードウェア上で効率的なオフラインASRとNLU統合を可能にするアーキテクチャとデコoding戦略は何か。
• RQ4 デバイス上のデータ生成と個人化は、ノイズや残響条件に対する堅牢性を向上させつつユーザのプライバシーを保つことができるか。

主な発見

• Raspberry Pi 3上でリアルタイムに動作する2.6Mパラメータ（ディスク上10MB）の組み込みNN/HMM音響モデルは、ドメイン適応LM/NLUと競合するWERを達成する。
• 動的・遅延型言語モデルデコードグラフは、デバイス上の適応と高速なLM訓練を可能にし、精度を維持する。
• エンティティ注入によるデバイス上の個人化は秒から十数秒の遅延でHCLとエンティティ文法を更新し、プライベートなカスタマイズを可能にする。
• 混同行列ネットワークに基づく信頼度スコアリングはOOV語の特定に役立ち、エンドツーエンドの音声から意味への性能を向上させる。