[論文レビュー] Conversational AI: The Science Behind the Alexa Prize

Ashwin Ram, Rohit Prasad+16 more|arXiv (Cornell University)|Jan 11, 2018

Topic Modeling参考文献 18被引用数 201

ひとこと要約

本論文は Alexa Prize を説明する。これは大学の競技で、総額2.5百万ドル、16チームが socialbots を構築し、人間と20分間対話させることで、ライブデータ収集とリアルタイム評価を可能にし、対話型AIを進化させる。

ABSTRACT

Conversational agents are exploding in popularity. However, much work remains in the area of social conversation as well as free-form conversation over a broad range of domains and topics. To advance the state of the art in conversational AI, Amazon launched the Alexa Prize, a 2.5-million-dollar university competition where sixteen selected university teams were challenged to build conversational agents, known as socialbots, to converse coherently and engagingly with humans on popular topics such as Sports, Politics, Entertainment, Fashion and Technology for 20 minutes. The Alexa Prize offers the academic community a unique opportunity to perform research with a live system used by millions of users. The competition provided university teams with real user conversational data at scale, along with the user-provided ratings and feedback augmented with annotations by the Alexa team. This enabled teams to effectively iterate and make improvements throughout the competition while being evaluated in real-time through live user interactions. To build their socialbots, university teams combined state-of-the-art techniques with novel strategies in the areas of Natural Language Understanding, Context Modeling, Dialog Management, Response Generation, and Knowledge Acquisition. To support the efforts of participating teams, the Alexa Prize team made significant scientific and engineering investments to build and improve Conversational Speech Recognition, Topic Tracking, Dialog Evaluation, Voice User Experience, and tools for traffic management and scalability. This paper outlines the advances created by the university teams as well as the Alexa Prize team to achieve the common goal of solving the problem of Conversational AI.

研究の動機と目的

• 大規模で実ユーザーによる評価設定を通じて、対話型AIの研究を動機づける。
• チームと主催者が用いた Alexa Prize のアーキテクチャ、データ収集、評価フレームワークを説明する。
• 対話システムにおける音声認識、トピック追跡、対話評価、ユーザー体験を進展させるための科学的・技術的投資を要約する。

提案手法

• ソーシャルボットの競技設計と基準を説明する。
• チームが最先端技術と新規戦略をどのように組み合わせて、NLU、コンテキストモデリング、対話管理、応答生成、知識獲得に適用したかを説明する。
• データ収集パイプラインを強調する：ライブユーザー会話、評価、フィードバック、Alexaチームの注釈。
• 大規模での対話音声認識、トピック追跡、トラフィック管理のためのインフラ投資について論じる。

実験結果

リサーチクエスチョン

• RQ1 多様なトピックに跨る人間との長文脈の一貫性があり魅力的なソーシャルボット会話を可能にするアプローチは何か？
• RQ2 大規模な実ユーザーフィードバックがソーシャルボット能力の反復的改善をどのように加速させるのか？
• RQ3 競争的な実世界環境において対話型AIの改善を推進する主要な研究領域は何か（NLU、コンテキスト、対話、知識）？
• RQ4 大規模な実ユーザーAI競技を運用する際に生じるインフラおよび方法論的課題は何か？

主な発見

• Alexa Prize は実ユーザーとの対話と注釈付きフィードバックを可能にし、チームがソーシャルボット設計を反復するのに使用した。
• 競技は最先端技術と新規戦略をコアAI領域全体に組み合わせ、対話型AIを前進させた。
• 音声認識、トピック追跡、対話評価、ユーザー体験の大規模な改善のために、重要な科学技術投資が行われた。
• チームと主催者はライブデータを活用して対話エージェントをリアルタイムで評価・改善した。