[論文レビュー] Frames: A Corpus for Adding Memory to Goal-Oriented Dialogue Systems

Layla El Asri, Hannes Schulz+6 more|arXiv (Cornell University)|Mar 31, 2017

Speech and dialogue systems被引用数 21

ひとこと要約

この論文は、目的志向対話システムにおける記憶の研究を目的として、Wizard-of-Oz環境で収集された1,369件のヒューマン・ヒューマン対話からなる『Frames』というコーパスを紹介する。この研究では、複数の意味的フレームを同時に管理することを含む状態追跡を拡張した『フレーム追跡』というタスクを形式化し、ルールベースのベースラインモデルを提案する。その結果、単純なルールはランダムよりわずかに優れているにとどまり、より洗練された記憶に配慮したモデルの開発の必要性が浮き彫りになった。

ABSTRACT

This paper presents the Frames dataset (Frames is available at http://datasets.maluuba.com/Frames), a corpus of 1369 human-human dialogues with an average of 15 turns per dialogue. We developed this dataset to study the role of memory in goal-oriented dialogue systems. Based on Frames, we introduce a task called frame tracking, which extends state tracking to a setting where several states are tracked simultaneously. We propose a baseline model for this task. We show that Frames can also be used to study memory in dialogue management and information presentation through natural language generation.

研究の動機と目的

• 記憶を要する複雑なユーザ行動（例：意思決定過程での複数アイテムの比較）を捉える対話コーパスの開発。
• 従来の状態追跡を拡張し、複数の意味的フレームを同時に管理することを特徴とする『フレーム追跡』という新規タスクの形式化。
• 自然言語生成を用いた情報提示と対話管理における記憶の役割の解明。
• 目的志向対話における複数の文脈的状態を追跡するモデルを評価するためのベンチマークの提供。
• 記憶集約型対話システムにおけるスケーラブルなデータ収集およびアノテーション手法の研究を可能にする。

提案手法

• ヒューマン・ヒューマン対話として1,369件の対話を、Wizard-of-Oz環境で収集。ユーザーは、対話システムを模倣する人間の『ウィザード』とやり取りした。
• 観光パッケージのデータベースを構築し、目的、価格、ホテル、アメニティなどの属性を設定して、対話の根拠を明確にした。
• 対話行動、スロット値、参照タグ（ref）をアノテートし、ユーザーがどのフレームを指しているかを特定した。
• 対話全体にわたり複数の意味的フレームを維持・更新するタスクとして、フレーム追跡を形式化した。
• 対話行動とスロット値に基づき、フレーム作成、切り替え、参照解決を予測するための手作業ルールに基づくルールベースフレームトラッカーを提案した。
• 双方向GRUとCRF層を組み合わせたニューラルベースラインモデルを構築し、クラス不均衡を緩和するための修正済み交差エントロピー損失を採用した。

実験結果

リサーチクエスチョン

• RQ1 会話中に複数の文脈的状態（フレーム）を効果的に追跡・管理するにはどうすればよいか？
• RQ2 異なるアイテムの特性について議論する際、ユーザーがどのフレームを指しているかを特定する際の主な課題は何か？
• RQ3 記憶を活用することで、アイテム比較やバックトラッキングといった複雑な対話フローをどのように支援できるか？
• RQ4 現実的で記憶集約型の対話シナリオにおいて、ルールベースシステムがフレーム追跡をどの程度処理できるか？
• RQ5 現在の制約に一致する結果がない場合、自然言語生成を用いてユーザーを的確に誘導するにはどうすればよいか？

主な発見

• ルールベースフレームトラッカーは、フレーム作成のF1スコアが0.49 ± 0.03にとどまり、ランダムベースライン（0.47 ± 0.02）と比べてわずかに優れていた。
• フレーム同定性能は低く、ルールベースモデルでは0.24 ± 0.02、ランダムベースラインでは0.18 ± 0.02のスコアであった。
• NLUベースラインは、対話行動分類で0.78 ± 0.05、スロットラベル付けで0.79 ± 0.04のF1スコアを達成し、意図とスロット検出の性能が妥当であることが示された。
• 修正済みのカテゴリカル交差エントロピー損失は、モデルがO（スコープ外）ラベルのみを予測するのを防ぎ、学習安定性を向上させた。
• 結果から、現在のルールベースアプローチではフレーム追跡が不十分であることが示され、今後のモデル開発における大きなギャップが浮き彫りになった。
• Framesデータセットは、比較、バックトラッキング、能動的提案といったタスクを含む、記憶拡張型対話システムの研究を可能にする。