[論文レビュー] Personalized Query Rewriting in Conversational AI Agents

Alireza Roshan Ghias, Clint Solomon Mathialagan+3 more|arXiv (Cornell University)|Nov 9, 2020

Topic Modeling参考文献 18被引用数 5

ひとこと要約

この論文は、自動音声認識（ASR）および自然言語理解（NLU）の誤りを是正するために、ユーザー固有のインタラクション記憶を利用する、会話型AIエージェント向けのパーソナライズドクエリリライトフレームワークを提案する。ポインタジェネレータネットワークに階層的アテンションとニューラルリtrievalを組み合わせたモデルは、ASR n-best出力とユーザー履歴を統合することで、ベースラインを著しく上回るリライト精度と意図回復性能を達成する。

ABSTRACT

Spoken language understanding (SLU) systems in conversational AI agents often experience errors in the form of misrecognitions by automatic speech recognition (ASR) or semantic gaps in natural language understanding (NLU). These errors easily translate to user frustrations, particularly so in recurrent events e.g. regularly toggling an appliance, calling a frequent contact, etc. In this work, we propose a query rewriting approach by leveraging users' historically successful interactions as a form of memory. We present a neural retrieval model and a pointer-generator network with hierarchical attention and show that they perform significantly better at the query rewriting task with the aforementioned user memories than without. We also highlight how our approach with the proposed models leverages the structural and semantic diversity in ASR's output towards recovering users' intents.

研究の動機と目的

• 再発生する対話においてASRおよびNLUの誤りが原因でユーザーが不満を感じるのを軽減すること。
• ユーザーが過去に成功した対話を記録した個人的な記憶を活用することで、クエリリライト性能を向上させること。
• ASRの不確実性下で、検索ベースと生成型（ポインタジェネレータ）ニューラルモデルのクエリリライト性能を比較すること。
• ASR n-best出力とユーザー記憶が、意図回復とリライト品質をどのように共同で向上させるかを調査すること。
• 追加のダウンストリームオーバーヘッドを伴わずに、ユーザー記憶とASR不確実性を統合できるスケーラブルでエンドツーエンドのフレームワークを構築すること。

提案手法

• バイリサルリカレントネットワーク（bi-LSTM）を用いて、ASR n-best仮説とユーザー記憶の発話文を符号化し、その後、記憶からのアテンションをASR出力に適用して文脈に適した表現を生成するニューラルリtrievalモデル。
• 階層的アテンションを備えたポインタジェネレータネットワークは、まずASR n-bestに注目し、次にユーザー記憶に注目することで、リライトの一部をいずれのソースからコピーまたは生成できるようにする。
• カバレッジ機構を用いることで、重複コピーを防ぎ、ASR n-bestと記憶内のコンポーネントを組み合わせて新しい発話文を構成することで一般化性能を向上させる。
• モデルは、Alexaから得た約100万件の匿名化された再表現ペアの大规模データセット上で学習される。最初の発話はASR失敗であり、2番目の発話は成功した再表現である。
• 不確実性を組み込むためにASR n-best出力を入力として使用し、モデルは元のASR仮説を成功した再表現に一致させるように学習する。
• 対話文脈への拡張性を考慮し、将来的にはASRラティスとの統合を想定したフレームワークとして設計されている。

実験結果

リサーチクエスチョン

• RQ1 ユーザー固有のインタラクション記憶は、会話型AIシステムにおけるクエリリライト性能を顕著に向上させるか？
• RQ2 ASR n-best出力を組み込むことで、クエリリライトモデルのロバスト性と精度はどのように向上するか？
• RQ3 生成型ポインタネットワークアプローチは、パーソナライズドクエリリライトにおいて検索ベースのベースラインを上回るか？
• RQ4 ASR出力が意味的または音声的に誤っている場合、モデルはどれほど正確な意図を回復できるか？
• RQ5 ユーザーが対話の間で意図を変更するケースでは、モデルはどのように対処し、評価にどのような影響を与えるか？

主な発見

• 階層的アテンションを備えたポインタジェネレータネットワークは、精度を90％に維持しながらリcallを上回った。これは、より優れた一般化性能と意図回復能力を示している。
• ポインタネットワークは、検索モデルと比較して、意図誤りを5倍も低減した。これは、意味的意図をより優れた理解を示している。
• 「launch room」を「laundry room」に修正するような部分的誤りに対しても、正確な再表現が記憶に存在しなくても、ASR n-bestと記憶のコンポーネントを組み合わせて新しい発話文を構成することで、成功したリライトが可能だった。
• ASR n-best出力を組み込むことで、両モデルの性能が向上した。これは、正しいリライトを学習するための追加の信号を提供したからである。
• 検索モデルは、記憶内の正確なまたは類似したフレーズに限定して一致するが、ポインタネットワークは複数のソースからコピーすることで、新しい正しいリライトを生成できる。
• ユーザー記憶とASR不確実性を活用することで、追加のダウンストリームコストなしに、クエリリライトタスクで最先端の性能を達成した。