[論文レビュー] StalemateBreaker: A Proactive Content-Introducing Approach to Automatic Human-Computer Conversation

Xiang Li, Lili Mou+2 more|arXiv (Cornell University)|Apr 15, 2016

Topic Modeling参考文献 37被引用数 24

ひとこと要約

StalemateBreakerは、会話の停滞状態を検出し、名前付きエンティティ認識と知識グラフを用いて新しいトピックを導入する能動的アプローチを提案する。文脈と返答の関連性を向上させるために、新規のBi-PageRank-HITS再ランク付けアルゴリズムを採用し、停滞状態下で、実践的な最先端システム比でp@1が+14.4%向上した。

ABSTRACT

Existing open-domain human-computer conversation systems are typically passive: they either synthesize or retrieve a reply provided a human-issued utterance. It is generally presumed that humans should take the role to lead the conversation and introduce new content when a stalemate occurs, and that the computer only needs to "respond." In this paper, we propose StalemateBreaker, a conversation system that can proactively introduce new content when appropriate. We design a pipeline to determine when, what, and how to introduce new content during human-computer conversation. We further propose a novel reranking algorithm Bi-PageRank-HITS to enable rich interaction between conversation context and candidate replies. Experiments show that both the content-introducing approach and the reranking algorithm are effective. Our full StalemateBreaker model outperforms a state-of-the-practice conversation system by +14.4% p@1 when a stalemate occurs.

研究の動機と目的

• 会話システムが反応するのみで、能動的に会話の展開を促せないという、オープンドメイン会話システムの限界を是正すること。
• 「...」や「エー」などの言語的手がかりを用いて、会話の停滞状態を自動的に検出できること。
• 会話文脈から名前付きエンティティを抽出し、知識グラフ内の関連エンティティにリンクすることで、新しいトピックを能動的に導入できること。
• 対話文脈と候補返答との間の関連性を向上させるために、強力な再ランク付けメカニズムを開発すること。
• 実世界の会話ログを用いて評価し、導入あり・なしの両状況で、強力なベースラインを上回ることを示すこと。

提案手法

• 3段階のパイプラインにより、キーワードフィルタリング（例：「...」）で停滞状態を検出し、会話文脈内の関連する名前付きエンティティを特定し、370万タプルの知識グラフ上でエンティティベース検索を用いて大規模データベースから候補返答を取得する。
• Bi-PageRank-HITSアルゴリズムは、クエリ（文脈発話）と返答の間の双方向関係をモデル化し、クエリ-返答相互作用の二部グラフ上でランダムウォークを用いて共同ランク付けを実行する。
• アルゴリズムは、テキスト類似度スコア（クエリ-返答一致に基づく）とエンティティベースの関連性を、PageRankとHITSコンponentの重み付き組み合わせで統合し、最適なパフォーマンスを得るためにαxとαyのパラメータを調整する。
• PageRankフェーズでは遷移行列を正規化して収束を保証し、HITSフェーズでは反復的に権威スコアとハブスコアを更新してランク付けを最適化する。
• システムは980万クエリ-返答データベース上で学習・評価され、外部知識を活用して文脈的に適切で、能動的な返答を生成する。
• グリッドサーチによるパrameterチューニングにより、αx = 0.3およびαy = 1が最適と判明し、繰り返しの応答パターンを助長する可能性を避けるために、返答のテキスト類似度を最小限に抑える必要がある。

実験結果

リサーチクエスチョン

• RQ1 タスク固有のテンプレートやルールに依存せずに、会話システムがオープンドメイン対話において能動的に新しいコンテンツを導入できるか？
• RQ2 会話の停滞状態が発生したタイミングをどのように検出できるか。また、その検出に有効な言語的手がかりは何か？
• RQ3 会話文脈内の名前付きエンティティが、知識グラフから意味的に関連する新規コンテンツを検索するのをどの程度効果的に導くことができるか？
• RQ4 Bi-PageRank-HITSのような共同ランク付けアプローチは、従来のランク付け手法に比べ、対話文脈と候補返答間の関連性推定において優れているか？
• RQ5 能動的なコンテンツ導入の統合が、特に停滞状態下で、応答品質を顕著に向上させるか？

主な発見

• StalemateBreakerの完全モデルは、停滞状態が検出された際、実践的な最先端システム比でp@1が+14.4%向上し、能動的コンテンツ導入の有効性を示した。
• Bi-PageRank-HITSアルゴリズムは、単独のPageRankやHITS/Co-HITSベースラインに加え、特徴豊富な回帰モデルに対しても、すべての指標（p@1、MAP、nDCG）で優れた性能を示した。
• パrameter分析により、αx = 0.3およびαy = 1が最適なパフォーマンスをもたらすことが判明し、返答のテキスト類似度が有害であることが示され、繰り返し応答を助長するのを避けるために最小限に抑えるべきである。
• 収束分析により、Bi-PageRank-HITSは通常3〜5回のグローバルイテレーション内で迅速に収束することが確認され、リアルタイム導入に実用的であることが示された。
• 事例研究では、StalemateBreakerがユーザーの迷いや沈黙に応じて、映画の参照（例：WALL-E、人魚姫の結婚）など、新しいトピックを効果的に導入し、会話の関与度を向上させた。
• システムは外部知識を効果的に活用し、ユーザーが沈黙している場合や関与が薄い場合でも、文脈的に適切で、多様かつ情報豊富な応答を生成できた。