[論文レビュー] Proto: A Neural Cocktail for Generating Appealing Conversations

Sougata Saha, Souvik Das+3 more|arXiv (Cornell University)|Sep 6, 2021

Topic Modeling参考文献 36被引用数 5

ひとこと要約

Protoは、大規模な知識取得、アンサンブル型ニューラル生成モデル、再ランク付けモジュール、決定論的応答戦略を統合することで、一貫性があり共感的で事実に基づいた応答を生成する、オープンドメイン対話向けのニューラル会話システムです。Alexa賞コンペティションにおいて高いユーザー参加度と一貫性のあるパフォーマンスを達成しており、オープンドメイン会話AIにおけるハイブリッドアーキテクチャの有効性を示しています。

ABSTRACT

In this paper, we present our Alexa Prize Grand Challenge 4 socialbot: Proto. Leveraging diverse sources of world knowledge, and powered by a suite of neural and rule-based natural language understanding modules, state-of-the-art neural generators, novel state-based deterministic generators, an ensemble of neural re-rankers, a robust post-processing algorithm, and an efficient overall conversation strategy, Proto strives to be able to converse coherently about a diverse range of topics of interest to humans, and provide a memorable experience to the user. In this paper we dissect and analyze the different components and conversation strategies implemented by our socialbot, which enables us to generate colloquial, empathetic, engaging, self-rectifying, factually correct, and on-topic response, which has helped us achieve consistent scores throughout the competition.

研究の動機と目的

• 多様なトピックについて、高い一貫性と没入感を備えた、人間らしいオープンドメイン会話が可能なソーシャルボットの開発。
• オープンドメイン会話システムにおいて、自然で口語的で共感的な応答を生成する課題への対処。
• 構造化された知識（Wikidata）とキュレート済みの事実を統合することで、事実の正確性とトピックの深さを向上。
• ユーザーの属性の記憶と感情への対応能力を活用し、ユーザー体験の向上。
• 生成モデルの使用バランスとトピックの遷移を最適化することで、会話の流れと長さの調整。

提案手法

• 名前や好みなどのユーザー固有の属性を含む意図、感情、ユーザー固有の属性を抽出するために、ニューラル型およびルールベース型の自然言語理解モジュールのセットを活用。
• 人間対人間の会話データで学習されたアンサンブル型ニューラル応答生成モデルを採用し、自然で口語的で共感的な応答を生成。
• Wikidataとスクレイピングされたおもしろい事実のインデックスをElasticsearchで管理し、低遅延で関連性の高い事実的かつ魅力的なコンテンツを取得。
• 会話の文脈に基づいて最良の応答を選択・精錬するために、ニューラル型再ランク付けモデルのアンサンブルとポストプロセッシングモジュールを適用。
• 論理的でトピックが進化する会話を可能にするために、決定論的生成モデルとトピック遷移モジュールを統合。
• 状態ベースの戦略を用いて会話の流れを管理し、キーワードや文脈に応じたトピック遷移を制御。

実験結果

リサーチクエスチョン

• RQ1 ニューラル型とルールベース型のコンponentsを統合したハイブリッドアーキテクチャは、オープンドメイン会話における応答品質と一貫性をどのように向上させるか？
• RQ2 事実ベースの知識ベースとキュレート済みのおもしろい事実が、会話の関与度と事実の正確性をどのように向上させるか？
• RQ3 感情への対応能力とパーソナライゼーション（例：ユーザーの好みの記憶）は、ユーザーの評価度にどのように影響するか？
• RQ4 会話の長さとトピックの多様性が、ユーザー満足度とどの程度相関しているか？
• RQ5 異なる応答生成モデルは、全体のシステムパフォーマンスとユーザーの認識に、それぞれどのように寄与しているか？

主な発見

• ニューラル型アンサンブル生成モデルは、テンプレートベースの応答よりも自然さと人間らしさの面で顕著に優れており、機械的で不自然な応答の認識が低下した。
• Proto DRG（決定論的応答生成モデル）は、準決勝および決勝ラウンドの両方で多数の応答を生成したが、準決勝以降、ニューラル生成モデルの使用頻度が上昇した。
• 会話の長さとユーザー評価度には正の相関関係が見られたが、ある閾値を超えると、反復的または冗長なトピックが原因で評価が低下した。
• トランジション生成モデルやQAベースの生成モデルの使用頻度が高いほど、ユーザー評価が低下する傾向が見られ、これは急なトピックの変更や長すぎる応答のためと推測される。
• OLS回帰からの係数分析によると、NRG（ニューラル応答生成モデル）は正の影響を示したが、QAおよびトランジション生成モデルは負の係数を示し、ユーザーがその出力に不満を抱いていることが示唆された。
• 再ランク付けモジュールとポストプロセッシングにより、システム全体のパフォーマンスが向上し、矛盾する出力や話題から外れた出力の発生が減少した。