[論文レビュー] Advancing the State of the Art in Open Domain Dialog Systems through the Alexa Prize

Chandra Khatri, Behnam Hedayatnia+20 more|arXiv (Cornell University)|Dec 27, 2018

Topic Modeling参考文献 45被引用数 61

ひとこと要約

本論文は、大学チームによる2018年のAlexa Prizeの進展を調査し、文脈依存モデリング、知識グラフ、階層的対話マネージャ、CoBotツールキットなどの手法を詳述し、顕著なユーザー体験の向上を示しています。

ABSTRACT

Building open domain conversational systems that allow users to have engaging conversations on topics of their choice is a challenging task. Alexa Prize was launched in 2016 to tackle the problem of achieving natural, sustained, coherent and engaging open-domain dialogs. In the second iteration of the competition in 2018, university teams advanced the state of the art by using context in dialog models, leveraging knowledge graphs for language understanding, handling complex utterances, building statistical and hierarchical dialog managers, and leveraging model-driven signals from user responses. The 2018 competition also included the provision of a suite of tools and models to the competitors including the CoBot (conversational bot) toolkit, topic and dialog act detection models, conversation evaluators, and a sensitive content detection model so that the competing teams could focus on building knowledge-rich, coherent and engaging multi-turn dialog systems. This paper outlines the advances developed by the university teams as well as the Alexa Prize team to achieve the common goal of advancing the science of Conversational AI. We address several key open-ended problems such as conversational speech recognition, open domain natural language understanding, commonsense reasoning, statistical dialog management, and dialog evaluation. These collaborative efforts have driven improved experiences by Alexa users to an average rating of 3.61, the median duration of 2 mins 18 seconds, and average turns to 14.6, increases of 14%, 92%, 54% respectively since the launch of the 2018 competition. For conversational speech recognition, we have improved our relative Word Error Rate by 55% and our relative Entity Error Rate by 34% since the launch of the Alexa Prize. Socialbots improved in quality significantly more rapidly in 2018, in part due to the release of the CoBot toolkit.

研究の動機と目的

• Alexa風システムにおける自然で持続的かつ一貫したオープンドメイン対話の進展を促すこと。
• 2018年に大学チームが達成した主要な技術的進歩を要約する。
• 競技者に提供されたツールとモデルと、それらがシステム品質に与える影響を説明する。

提案手法

• オープンドメイン対話のための対話コンテキスト、知識グラフ、および言語理解の利用を説明する。
• 統計的および階層的対話マネージャの開発を説明する。
• 対話品質を改善するためのユーザー応答からのモデル駆動シグナルの概略。
• 話題検出・対話行為検出、評価者、機微な内容検出に関連するCoBotツールキットと関連モデルを強調する。

実験結果

リサーチクエスチョン

• RQ1 Alexa Prizeの下で2018年に大学チームが達成したオープンドメイン対話システムの進展は何か。
• RQ2 文脈、知識グラフ、現代的な対話管理は対話品質の向上にどのように寄与したか。
• RQ3 CoBotのようなツールキットがソーシャルボットの開発と評価に与えた影響は何か。
• RQ4 会話音声認識およびNLU能力は、以前のベンチマークと比べてどのように改善されたか。

主な発見

• Alexaユーザーの平均評価は3.61に達した。
• 対話の中央値の継続時間は2分18秒に増加した。
• 平均対話ターン数は14.6に増加した。
• リリース以降の相対的改善：評価で14%、継続時間で92%、ターン数で54%。
• 相対語彙誤り率は55%改善。
• エンティティ誤り率は34%改善した。