[論文レビュー] Snips Voice Platform: an embedded Spoken Language Understanding system for private-by-design voice interfaces

Alice Coucke, Alaa Saade+10 more|arXiv (Cornell University)|May 25, 2018

Context-Aware Activity Recognition Systems被引用数 355

ひとこと要約

本論文は、クラウドへユーザデータを送信せずにプライバシー保護を前提としたオフラインの SLU プラットフォームを、IoT ハードウェア上で動作させ、コンパクトな NN/HMM 音響モデルと、デバイス上の個人化を伴う動的でドメイン適応型の言語モデルを用いる。

ABSTRACT

This paper presents the machine learning architecture of the Snips Voice Platform, a software solution to perform Spoken Language Understanding on microprocessors typical of IoT devices. The embedded inference is fast and accurate while enforcing privacy by design, as no personal user data is ever collected. Focusing on Automatic Speech Recognition and Natural Language Understanding, we detail our approach to training high-performance Machine Learning models that are small enough to run in real-time on small devices. Additionally, we describe a data generation procedure that provides sufficient, high-quality training data without compromising user privacy.

研究の動機と目的

• クラウドへユーザデータを送信しない音声インターフェースにおけるプライバシー設計の重要性を動機づける。
• 小型デバイス上でリアルタイムに動作するエンドツーエンドの SLU パイプライン（ASR + NLU）を開発する。
• 組み込みハードウェアに適したコンパクトな音響モデルとドメイン適応言語モデルを訓練する。
• データを漏らすことなくデバイス上での個人化と言語モデルの効率的な訓練/更新を可能にする。

提案手法

• ノイズの多い、残響条件を模擬するデータ拡張を用いて、一般的な音声で訓練されたコンパクトな NN/HMM 音響モデルを構築する。
• 一般化のためにエンティティを抽象化した共通データセットから、ドメイン特化の言語モデル（LM）と対応する NLU モデルを訓練する。
• オンデバイスのメモリ制約に適合する実行時デコーディンググラフを形成するため、動的で遅延結合されたトランスデューサ（HCLG）の組合せを用いる。
• ユーザデータを送信せずに LM を個人化するためのデバイス上のエンティティ注入を実装する。
• 混同行列ネットワークに基づく信頼度スコアリング機構を組み込み、語彙外語を検出してエンドツーエンドの性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 低リソースの IoT ハードウェア上で、ユーザのプライバシーを保護しつつオフラインで SLU を実現するにはどうすればよいか？
• RQ2 組み込みアシスタントのエンドツーエンドの音声意味変換精度に対する、ドメイン適応 LM/NLU の統合の影響はどの程度か？
• RQ3 オンデバイスの個人化（エンティティ注入）はクラウドデータ転送なしで効率的に実行できるか？
• RQ4 Raspberry Pi 3 のようなデバイスで、コンパクトな音響モデルは精度・速度・メモリのバランスをどのようにとるか？

主な発見

• Raspberry Pi 3 上でリアルタイムに動作する組み込み SLU パイプラインは、コンパクトな NN/HMM 音響モデル（nnet-256）と適合した LM で実現可能。
• ドメイン適応 LM/NLU の統合は、対象ユースケースにおいてエンドツーエンドの高精度をもたらし、より小さな音響モデルを補う。
• 小型モデル（nnet-256）は、より大きなバリアント（nnet-768）と比べてパラメータ数とメモリ使用量が大幅に少なく、適切なLMと堅牢なNLUと組み合わせれば精度は許容範囲。
• エンティティ注入によるデバイス上の個人化は数秒から数十秒で実現可能で、クラウドデータなしでユーザー固有の語彙更新を可能にする。
• 混同行列ネットワークに基づく信頼度スコアは語彙外語を識別するのに役立ち、エンドツーエンドの SLU システムの頑健性を向上させる。