[論文レビュー] Just ASK: Building an Architecture for Extensible Self-Service Spoken Language Understanding

Anjishnu Kumar, Arpit Gupta+10 more|arXiv (Cornell University)|Nov 1, 2017

Topic Modeling参考文献 31被引用数 56

ひとこと要約

拡張可能なセルフサービス型の音声スキル開発を実現する Alexa Skills Kit (ASK) SLU アーキテクチャの設計と構成要素を説明し、迅速な反復とモデル転送性を可能にする。

ABSTRACT

This paper presents the design of the machine learning architecture that underlies the Alexa Skills Kit (ASK) a large scale Spoken Language Understanding (SLU) Software Development Kit (SDK) that enables developers to extend the capabilities of Amazon's virtual assistant, Alexa. At Amazon, the infrastructure powers over 25,000 skills deployed through the ASK, as well as AWS's Amazon Lex SLU Service. The ASK emphasizes flexibility, predictability and a rapid iteration cycle for third party developers. It imposes inductive biases that allow it to learn robust SLU models from extremely small and sparse datasets and, in doing so, removes significant barriers to entry for software developers and dialogue systems researchers.

研究の動機と目的

• サードパーティ開発者を支援し、Alexa スキルの展開を加速させるセルフサービス型の SLU アーキテクチャの必要性を動機づける。
• 柔軟性、ユーザー体験、迅速な反復、モデル展開性のバランスを取る設計上の考慮事項を提示する。
• Alexa Meaning Representation Language と、組み込みのインテント/スロットタイプがデータ資源の再利用をどのように支援するかを説明する。
• 研究実験と本番展開を結びつける BlueFlow インフラストラクチャを紹介する。
• ASK 内でのスキル定義からクエリ処理と対話管理までのワークフローを概説する。

提案手法

• インテントとスロットに基づく API 指向のインターフェースを備えたモジュラーでデカップルドな SLU アーキテクチャを提案する。
• AlexaMRL を用いて、スキル・オントロジーに対応する再利用可能なアクション、エンティティ、プロパティを定義する。
• 開発者の文法とサンプル発話から生成された加重有限状態変換器（WFST）で ASR と NLU を表現する。
• データ/リソース、表現空間、特徴レベルの手法を通じて転移学習と低リソース学習を適用し、小規模データ領域を可能にする。
• CLI からサーバーへの保証を備えたデータフロー、実験、本番展開を管理する Python ベースの DSL として BlueFlow を採用する。
• 知識ベース機能の組み込み、展開のためのモデル最適化、およびハイブリッド NLU パイプライン（決定論的 + 確率的コンポーネント）を取り入れる。

実験結果

リサーチクエスチョン

• RQ1 セルフサービス型 SLU フレームワークを、サードパーティのスキルを何千にもサポートしつつ、ファーストパーティの体験品質を保つように設計するにはどうすればよいか？
• RQ2 生産規模のシステムで SLU モデルの迅速な反復と展開を可能にする表現とツールは何か？
• RQ3 組み込みリソース（インテントスキーマ、スロットタイプ、AlexaMRL）を再利用して新しいスキルのデータ要件を削減するにはどうすればよいか？
• RQ4 研究実験と本番展開を最も橋渡しするインフラストラクチャとデータフローの抽象化は何か？
• RQ5 知識注入と転移学習をどのように活用して低データ領域での SLU の性能を改善できるか？

主な発見

• ASK アーキテクチャは ASK プラットフォームを通じて 25,000 以上のスキルを提供している（2017年時点）。
• モジュール化されデカップルドな設計により、ユーザー体験を損なうことなくコンポーネントの迅速な反復と独立した更新が可能になる。
• AlexaMRL はオントロジーに支えられたアクションとエンティティの再利用を可能にし、意味的役割を導出し新しいスキルのデータ要件を削減する。
• WFST に基づく ASR と NLU の表現は決定論的な文法ベースの認識と確率モデルの両方をサポートし、予測可能で柔軟なパースを可能にする。
• BlueFlow は 研究者と本番運用が効率的にモデルを実験・デプロイするための共通フレームワークを提供し、成果物は S3 に保存され、実行時データは DynamoDB に格納される。