[論文レビュー] Athena: Constructing Dialogues Dynamically with Discourse Constraints

Vrindavan Harrison, Juraj Juraska+12 more|arXiv (Cornell University)|Nov 21, 2020

Topic Modeling参考文献 32被引用数 4

ひとこと要約

Athenaは、複数のモジュラー応答生成器（RGs）からの応答を調整するために話法制約を使用する、動的でトピックに依存しない対話システムであり、オープンドメインのトピックにおける柔軟でリアルタイムの会話が可能である。静的対話グラフを避けて動的知識ソースを活用することで、ユーザー主導のトピックにおいて高いユーザー満足度を達成し、特定のシステム改善によってユーザーの性格や期待値への感受性を低減した。

ABSTRACT

This report describes Athena, a dialogue system for spoken conversation on popular topics and current events. We develop a flexible topic-agnostic approach to dialogue management that dynamically configures dialogue based on general principles of entity and topic coherence. Athena's dialogue manager uses a contract-based method where discourse constraints are dispatched to clusters of response generators. This allows Athena to procure responses from dynamic sources, such as knowledge graph traversals and feature-based on-the-fly response retrieval methods. After describing the dialogue system architecture, we perform an analysis of conversations that Athena participated in during the 2019 Alexa Prize Competition. We conclude with a report on several user studies we carried out to better understand how individual user characteristics affect system ratings.

研究の動機と目的

• オープンドメイン会話エージェントにおける従来の手作業で作成された対話フローグラフのスケーラビリティと硬直性に対処すること。
• 多様なソースからの動的でリアルタイムの応答生成をサポートする、柔軟でトピックに依存しない対話管理アーキテクチャの開発。
• より広範なシステムカバレッジと応答性を高めることで、ユーザーの性格や事前の期待に依存する依存度を低減し、ユーザー満足度を向上させること。
• ユーザー主導のトピックとシステム主導のトピックが会話の質とシステム評価に与える影響を評価すること。
• ユーザーの期待値と性格がスプoken対話システムにおけるシステム品質の認識に与える影響を調査すること。

提案手法

• 対話マネージャーが話法制約を応答生成器（RGs）のクラスタに送信し、会話中に応答の選択を動的に重ねて行う。
• システムは契約ベースのアーキテクチャを採用しており、RGsは事前の状態遷移ではなく、話法レベルのルールに基づいて独立して起動される。
• 応答生成器には、リアルタイムの知識グラフ走査、特徴ベースの検索、モジュラー会話フローなどの動的ソースが含まれる。
• 独自の名前付きエンティティ解決システムにより、大規模な知識ベースとアンサンブルエンティティリンクを統合し、トピックにおける根拠の明確化を向上させた。
• 32名と54名の参加者を対象にユーザー主導のトピックとシステム主導のトピックを比較し、期待値と性格の影響を評価するユーザースタディを実施した。
• システム改善は、コアトピック（例：恐竜、映画）のカバレッジを深めるために集中され、関与度を向上させ、ユーザーバイアスを低減した。

実験結果

リサーチクエスチョン

• RQ1 ユーザーがトピックの制御を希望する場合、オープンドメイン会話における対話システムの評価にどのような影響を与えるか？
• RQ2 ユーザーの性格的特徴と事前の期待値が、会話エージェントの認識品質にどの程度影響を与えるか？
• RQ3 コアトピックのシステムカバレッジを向上させることで、ユーザーの人口統計的特徴や期待値への感受性を低減できるか？
• RQ4 動的で制約に基づく対話管理が、会話の質と柔軟性に与える影響は何か？
• RQ5 複数の独立した応答生成器から得た応答をインタリーブさせることで、対話の豊かさと整合性はどのように向上するか？

主な発見

• ユーザーが自らトピックを選択した場合、評価が有意に高くなった（p = 0.02）が、当初の予想とは反対に、システム主導のトピックがより良いスコアを出すと想定していた。
• 外向的（p = 0.019）かつより注意深さの高いユーザー（p = 0.003）が全体的にシステムを高く評価したため、性格が認識に影響を与えることが示された。
• 初期の期待値が高かったユーザーほど、使用後にシステムを低く評価した（p = 0.015）ため、不切な期待値が満足度に悪影響を与える可能性がある。
• コアトピックのカバレッジを向上させるためのシステム改善後、システム主導の会話の全体的な評価が有意に向上した（p = 0.04）一方、ユーザー主導のトピックの評価は安定した（p = .99）。
• ユーザーがシステムを制御すると感じた割合が51%上昇した（p = 0.0001）、かつ性格と期待値の影響が消失したため、システムの耐性が向上した。
• システムトピックの全体的な評価が17%向上した。これは、カバレッジの向上がユーザーの人口統計的バイアスを低減することを示している。