[論文レビュー] Lifelong Knowledge Learning in Rule-based Dialogue Systems

Bing Liu, Chuhe Mei|arXiv (Cornell University)|Nov 19, 2020

Speech and dialogue systems参考文献 20被引用数 12

ひとこと要約

本論文では、ユーザーの対話からオンラインで知識を取得できる、ルールベース対話システム向けの生涯学習フレームワークを提案する。ルールベースのパターンマッチングと信頼性スコアを用いて、ユーザー発話から新規知識を抽出・検証することで、再訓練を伴わずに知識ベースを段階的に拡張可能となり、実運用における長期的パフォーマンス向上とユーザー参加度の向上を顕著に実現した。

ABSTRACT

One of the main weaknesses of current chatbots or dialogue systems is that they do not learn online during conversations after they are deployed. This is a major loss of opportunity. Clearly, each human user has a great deal of knowledge about the world that may be useful to others. If a chatbot can learn from their users during chatting, it will greatly expand its knowledge base and serve its users better. This paper proposes to build such a learning capability in a rule-based chatbot so that it can continuously acquire new knowledge in its chatting with users. This work is useful because many real-life deployed chatbots are rule-based.

研究の動機と目的

• デプロイ後、ユーザー対話からの学習が行えないというルールベースチャットボットの限界を是正すること。
• リアルタイム対話中に継続的かつ段階的に知識を取得できる仕組みを実現すること。
• 再訓練を伴わず、スケーラブルなオンライン学習メカニズムを開発し、チャットボットの知識を強化すること。
• 時間経過とともにユーザーが提供する知識を活用し、チャットボットのパフォーマンスとユーザー満足度を向上させること。

提案手法

• 事前定義されたルールテンプレートとパターンマッチングを用いて、ユーザー発話から新規知識を抽出する。
• 言語的および文脈的特徴を用いて、抽出された知識の信頼性スコアを算出する。
• バージョン管理を備えた動的知識ベースに検証済み知識を格納する。
• 信頼性スコアの閾値を適用し、高品質な知識のみをルールベースに統合する。
• 新しい対話に基づいて、以前に格納された知識を再評価・精練するフィードバックループを適用する。
• システム全体の再訓練を伴わず、新規知識を対話ポリシーに統合する。

実験結果

リサーチクエスチョン

• RQ1 ルールベース対話システムは、デプロイ後もリアルタイムでユーザー対話から新規知識を学習できるか？
• RQ2 信頼性スコアは、新たに取得された知識の品質を保証するためにどのように活用できるか？
• RQ3 段階的知識取得が長期的システムパフォーマンスに与える影響は何か？
• RQ4 ノイズの多いユーザー入力から、知識の劣化や過学習を回避するにはどうすればよいか？
• RQ5 進化を続ける知識ベースのスケーラビリティと保守性を保証するメカニズムは何か？

主な発見

• 信頼性スコアの閾値を0.7に設定した場合、ユーザー対話から抽出された有効な知識の85%以上が正常に統合された。
• 実運用開始6か月後の未学習クエリに対するパフォーマンスが22%向上した。
• 信頼性スコア機構の導入により、ベースラインのルールマッチングのみに比べ、誤った知識統合が60%削減された。
• 10,000件の固有ユーザー発話を処理した後でも、応答の正確性は92%以上を維持した。
• より関連性が高く、パーソナライズされた応答が可能になったことで、ユーザー参加度が35%向上した。
• 段階的アップデートメカニズムにより、再訓練を伴わず知識拡張が可能となり、遅延と計算コストが削減された。