[論文レビュー] Combining Search with Structured Data to Create a More Engaging User Experience in Open Domain Dialogue

Kevin K. Bowden, Shereen Oraby+3 more|arXiv (Cornell University)|Sep 15, 2017

Topic Modeling参考文献 28被引用数 8

ひとこと要約

本論文は、検索結果と構造化データ（例：IMDbからのもの）を統合することで、リアルタイムで一貫性があり、会話に没入感のある応答を生成するハイブリッドアプローチを提示する。両方のソースからの意味的関係を統合することで、SlugBotはアレクサプライズ準決勝において平均8:17分の会話長を達成し、混合意思決定型会話における会話の一貫性と能動的参加の向上を示した。

ABSTRACT

The greatest challenges in building sophisticated open-domain conversational agents arise directly from the potential for ongoing mixed-initiative multi-turn dialogues, which do not follow a particular plan or pursue a particular fixed information need. In order to make coherent conversational contributions in this context, a conversational agent must be able to track the types and attributes of the entities under discussion in the conversation and know how they are related. In some cases, the agent can rely on structured information sources to help identify the relevant semantic relations and produce a turn, but in other cases, the only content available comes from search, and it may be unclear which semantic relations hold between the search results and the discourse context. A further constraint is that the system must produce its contribution to the ongoing conversation in real-time. This paper describes our experience building SlugBot for the 2017 Alexa Prize, and discusses how we leveraged search and structured data from different sources to help SlugBot produce dialogic turns and carry on conversations whose length over the semi-finals user evaluation period averaged 8:17 minutes.

研究の動機と目的

• ユーザーが固定された情報ニーズを追求しないオープンドメイン、混合意思決定型、複数回のやり取りを行う会話において、会話の一貫性を維持するという課題に対処すること。
• 非構造化の検索結果と構造化された知識ソースの両方を用いて、文脈的に適切で、スタイルの異なる応答を生成できるシステムを開発すること。
• 定められたタスクや情報目標に依存せずに、長時間にわたる会話で会話の参加を維持できるように、会話エージェントが能動的に行動できるようにすること。
• オープンドメイン対話システムにおける自然言語生成において、検索と構造化データの統合を検討すること。

提案手法

• システムは名前付きエンティティ認識を用いて、映画や俳優などのエンティティを特定し、IMDbなどの構造化データソースにリンクして、評価やキャストなどの事実的属性を取得する。
• 構造化形式で利用できないコンテンツについては、ウェブ検索から関連情報を取得し、特に要約文（例：物語のあらましの最初の文）を選別して応答を構成する。
• コアリファレンス解決と代名詞の使用を通じて会話の一貫性を維持し、'それ'や'映画'といった参照が以前のエンティティに正しく結びつくようにする。
• テンプレートベースの応答と検索結果から選択された文を組み合わせるハイブリッド生成戦略を採用することで、出力の柔軟性と自然さを実現する。
• コンテンツの可用性と関連性に基づいて、構造化データと検索結果の間で動的に選択を行い、より豊富で情報量の多い応答を優先する。
• 今後の研究では、強化学習と対話品質指標（例：応答遅延、語彙多様性、対話アクティビティn-gram）を用いたランク付け関数の開発を予定している。

実験結果

リサーチクエスチョン

• RQ1 検索結果と構造化データをどのように効果的に統合することで、リアルタイムで一貫性のあるオープンドメイン会話が可能になるか？
• RQ2 エンティティ間の意味的関係は、混合意思決定型会話における会話の一貫性を維持するために果たす役割は何か？
• RQ3 固定されたタスクや情報ニーズがなくとも、会話エージェントが能動的に行動し、会話を長時間にわたって維持するにはどうすればよいか？
• RQ4 構造化データと検索結果の間で、応答の魅力を生むためにそれぞれの相違点や限界は何か？
• RQ5 テンプレートと取得した文を組み合わせたハイブリッド生成モデルは、オープンドメインシステムにおける応答品質と会話長の向上に寄与できるか？

主な発見

• SlugBotは、アレクサプライズ準決勝の評価において平均8:17分の会話長を達成し、ユーザーの関与が持続していることを示した。
• IMDbのような構造化データソースは、俳優名や評価といった信頼性の高い簡潔な事実を提供したが、豊かなフォローアップ対話のサポートには不十分なほど情報が薄かった。
• 検索結果は、構造化データが不完全な場合に特に、より包括的かつ文脈に即したコンテンツ（例：物語のあらまし）を頻繁に提供した。
• ユーザーが間接的な参照を使用しても、正しく代名詞を解決し、エンティティの一貫性を保つことで、システムは会話の一貫性を向上させた。
• テンプレートによる構造化データ処理と検索結果からの文選択を組み合わせたハイブリッドアプローチは、単独で使用する手法よりも、より魅力的で自然な応答を生成した。
• 著者らは、今後複数の構造化データソースを統合した統一知識ベースに統合することで、対話品質とスケーラビリティがさらに向上すると予測している。