[論文レビュー] Scaling Multi-Domain Dialogue State Tracking via Query Reformulation

Pushpendre Rastogi, Arpit Gupta+2 more|arXiv (Cornell University)|Mar 12, 2019

Topic Modeling参考文献 23被引用数 9

ひとこと要約

本稿では、会話の文脈を組み込んだ自然言語クエリにユーザー発話を見直す、Contextual Query Rewriting (CQR) という新しい手法を提案する。ポインタジェネレーターネットワークとマルチタスク学習を用いることで、長距離参照の処理が難しい課題において、エンティティF1が20%以上向上し、モデルの再訓練を必要とせず、既存のドメイン特化型SLUシステムとシームレスに統合可能である。

ABSTRACT

We present a novel approach to dialogue state tracking and referring expression resolution tasks. Successful contextual understanding of multi-turn spoken dialogues requires resolving referring expressions across turns and tracking the entities relevant to the conversation across turns. Tracking conversational state is particularly challenging in a multi-domain scenario when there exist multiple spoken language understanding (SLU) sub-systems, and each SLU sub-system operates on its domain-specific meaning representation. While previous approaches have addressed the disparate schema issue by learning candidate transformations of the meaning representation, in this paper, we instead model the reference resolution as a dialogue context-aware user query reformulation task -- the dialog state is serialized to a sequence of natural language tokens representing the conversation. We develop our model for query reformulation using a pointer-generator network and a novel multi-task learning setup. In our experiments, we show a significant improvement in absolute F1 on an internal as well as a, soon to be released, public benchmark respectively.

研究の動機と目的

• 異なった意味表現を持つマルチドメイン・マルチエージェント対話システムにおける参照表現解消および対話状態追跡の課題に対処すること。
• 異種のドメイン間でエージェントを統合する際、手動によるスキーマ整合やドメイン特化型SLUモデルの高コストな再訓練を回避すること。
• エージェント間のユニバーサルAPIとしての自然言語を活用することで、産業用対話プラットフォームにおけるスケーラビリティとモularityを向上させること。
• 序列変換リライトを活用して会話履歴を活用し、代名詞やゼロアンファオラの正確な解消を可能にすること。
• 既存のエージェントアーキテクチャを変更せずに、クエリの再表現が下流のSLU性能を顕著に向上させられることを実証すること。

提案手法

• モデルはポインタジェネレーターネットワーク（PGN）を用い、ユーザー発話を文脈に根ざした自然言語クエリに再表現することで、意図を保持し、参照を解消する。
• 入力は、ユーザー発話とシステム応答を含む対話ターンのシーケンスであり、ドメイン、意図、デキストラライズドエンティティプレースホルダを含む単一のトークンシーケンスとして符号化される。
• 追加のアノテートデータを必要とせず、PGNの注目メカニズムをガイドするマルチタスク学習の目的関数を導入し、長距離参照の解消を改善する。
• エンティティ（例：'Yuval Harari' に対して 'Entity S1'）にデキストラライゼーションを適用することで、未知の名前に対しても一般化しつつスロット構造を保持する。
• モデルは、元の発話と意味的に同等であり、以前に言及されたエンティティを明示的に含む再書き直しクエリを生成するように学習される。
• 出力クエリは直接、既存のドメイン特化型SLUシステムに供給され、アーキテクチャの変更なしにプラグアンドプレイ統合が可能になる。

実験結果

リサーチクエスチョン

• RQ1 コンテキストクエリリライトは、異種のSLUスキーマを持つマルチドメインシステムにおける対話状態追跡を改善できるか？
• RQ2 マルチタスク学習を組み合わせたポインタジェネレーターネットワークは、対話における長距離参照表現の解消にどの程度有効か？
• RQ3 自然言語の再ライティングは、独立して開発された対話エージェント間のユニバーサルインターフェースとしてどの程度機能するか？
• RQ4 クエリ再表現により、手動によるスキーマ整合やドメイン特化型SLUモデルの再訓練の必要性はどの程度低減できるか？
• RQ5 本手法はゼロアンファオラや非代名詞的参照（例：'what’s the address'?）に対しても一般化可能か？

主な発見

• 提案されたCQRモデルは、社内テストデータの最も困難なサブセットにおいて、エンティティF1が20%以上相対的に向上し、特に3ターン以上離れた参照に対して顕著な改善を示した。
• InCarベンチマークでは、クエリリライトがエンドツーエンド対話モデルの性能を向上させ、データセット間での一般化性を実証した。
• マルチタスク学習の目的関数により、3ターン以上離れた発話由来のスロットにおいて、ベースのポインタジェネレーターネットワークと比較して誤差が3.2%低減された。
• 本手法により、SLUまたはDSTコンponentを変更することなく、ドメイン特化型エージェントのシームレス統合が可能となり、モularityとスケーラビリティが向上した。
• 自然言語リライトを活用することで、ゼロアンファオラや非代名詞的参照（例：'what’s the address'）を会話文脈に根ざした形で効果的に解消できた。
• ブラックボックス性を有するため、本モデルは任意の既存SLUシステムに統合可能であり、産業用対話プラットフォームにおける導入の複雑さを低減できる。