[論文レビュー] Intelligent Assistant Language Understanding On Device

Cecilia Aas, Hisham M. Abdelsalam+21 more|arXiv (Cornell University)|Aug 7, 2023

AI in Service InteractionsComputer Science被引用数 3

ひとこと要約

本論文では、ユーザーのリクエストをローカルで処理することでプライバシー、速度、正確性を向上させる、個人用デジタルアシスタント向けのオンデバイス自然言語理解（NLU）システムを提示する。このシステムは、蒸留・量子化されたBERTベースの埋め込みモデル、階層的オントロジーに基づく意味表現を用いたシーケンス・ツー・シーケンスパーサー、およびフェデレーテッドパーサーを採用し、実世界の影響に注力した新しい評価パイプラインにより、ユーザーに顕在するエラーを最小限に抑えつつ、高いエンド・ツー・エンドの正確性を達成する。

ABSTRACT

It has recently become feasible to run personal digital assistants on phones and other personal devices. In this paper we describe a design for a natural language understanding system that runs on device. In comparison to a server-based assistant, this system is more private, more reliable, faster, more expressive, and more accurate. We describe what led to key choices about architecture and technologies. For example, some approaches in the dialog systems literature are difficult to maintain over time in a deployment setting. We hope that sharing learnings from our practical experiences may help inform future work in the research community.

研究の動機と目的

• メッセージ送信やリマインダーなどの個人的リクエストのサーバーサイド処理に依存しない、プライベートでオンデバイスのNLUシステムを設計すること。
• エンド・ツー・エンド学習を避けることで、対話システムにおけるスケーラビリティと保守性の課題を解決し、モジュラで合成可能なコンポONENTSを採用すること。
• 参照解決と構成的クエリ理解を備えた、複雑でマルチターンの対話に対応すること。
• ユーザーに顕在する失敗を重視する評価フレームワークを構築し、コンponentレベルのメトリクスよりも優先順位を高め、開発の効率性を向上させること。

提案手法

• 16ビット浮動小数点の蒸留・量子化されたBERTモデルを、オンデバイスでの発話埋め込みに使用。ハイパーパramータチューニングと知識蒸留により、モデルサイズを20倍小さくし、正確性の著しい低下を伴わずに実現。
• エンコーダ・デコーダアーキテクチャを有するシーケンス・ツー・シーケンスパーサーは、入力発話を元に木構造の構築指示を生成し、パスベースの線形化を用いて階層的意味構造を表現する。
• 連続する部分文字列を抽出するための制約付きコピーメカニズムを採用し、ノードの再利用を防ぐために繰り返し可能なスロットをFlusHコマンドでサポート。
• 階層的オントロジーにより、表現力豊かで構成的な意味表現が可能となり、'私の次の会議の全参加者に送信'のような複雑なクエリを扱える。
• フェデレーテッドパーサーにより、個人的リクエスト処理（オンデバイス）と知識クエリ処理（サーバー支援）を分離し、拡張性と独立した開発を可能にする。
• 実際のユーザーの行動をモデルバージョン間で再現する新しい評価パイプラインを採用。ユーザーに顕在するレグレッションにのみ注目し、厳密なラベル整合性に依存しない。

実験結果

リサーチクエスチョン

• RQ1 オンデバイスNLUシステムは、ユーザーのプライバシーを維持しながら、高い正確性と低遅延を実現するにはどうすればよいか？
• RQ2 完全なエンド・ツー・エンド学習を避けることで、ロバストで保守性が高く、合成可能な対話理解を実現するためのアーキテクチャ的選択は何か？
• RQ3 豊富な階層的オントロジーとシーケンス・ツー・シーケンスパーサーが、複雑でマルチターンかつ構成的ユーザーリクエストをどのように共同でサポートできるか？
• RQ4 NLUのエラーがユーザー体験に影響を与えるものかどうかを最もよく特定する評価手法は何か？コンponentレベルのラベル不整合とは対照的である。

主な発見

• オンデバイスNLUシステムは、サーバーサイド処理への依存を最小限に抑え、プライバシーと応答性を向上させながら、高いエンド・ツー・エンドの正確性を達成した。
• 知識蒸留と16ビット量子化により、ベースとなるBERTモデルのサイズを20倍小さくしたが、エンド・ツー・エンドの正確性に統計的に有意な低下は見られなかった。
• パスベースの木構造表現を用いたシーケンス・ツー・シーケンスパーサーは、階層的意味を効果的に捉え、合成的・複合的表現を含む複雑なクエリをサポートした。
• 評価パイプラインは、報告されたモデルエラーのうちわずか10–50％が実際にユーザーに顕在する失敗を引き起こしていることを特定し、的を絞った改善と高い開発効率を可能にした。
• フェデレーテッドパーサーにより、個人的リクエストと知識クエリのコンポonentを独立して開発可能となり、異種のチームワークフローと拡張性を支援した。
• システムの設計により、対話状態を完全に追跡しなくても、代名詞「it」のような参照表現を多ターン対話で適切に処理できる、堅牢な参照解決が可能となった。