[論文レビュー] A Trustworthy, Responsible and Interpretable System to Handle Chit Chat in Conversational Bots

Parag Agrawal, Anshuman Suri+1 more|arXiv (Cornell University)|Nov 19, 2018

Misinformation and Its Impacts被引用数 4

ひとこと要約

この論文では、階層的意図分類、ルールベースのパターンマッチング、安全を考慮したシーケンス・トゥ・シーケンス生成システムを組み合わせることで、職業的対話ボットにおける雑談処理のスケーラブルで解釈可能で信頼性の高いパイプラインを提案する。このアプローチは、階層的なフィルタリングと意図の優先順位付けにより、安全で関連性のある応答を保証しながら、雑談意図検出において82%の未加重精度と79%の未加重再現率を達成し、既存のシステムを著しく上回っている。

ABSTRACT

Most often, chat-bots are built to solve the purpose of a search engine or a human assistant: Their primary goal is to provide information to the user or help them complete a task. However, these chat-bots are incapable of responding to unscripted queries like "Hi, what's up", "What's your favourite food". Human evaluation judgments show that 4 humans come to a consensus on the intent of a given query which is from chat domain only 77% of the time, thus making it evident how non-trivial this task is. In our work, we show why it is difficult to break the chitchat space into clearly defined intents. We propose a system to handle this task in chat-bots, keeping in mind scalability, interpretability, appropriateness, trustworthiness, relevance and coverage. Our work introduces a pipeline for query understanding in chitchat using hierarchical intents as well as a way to use seq-seq auto-generation models in professional bots. We explore an interpretable model for chat domain detection and also show how various components such as adult/offensive classification, grammars/regex patterns, curated personality based responses, generic guided evasive responses and response generation models can be combined in a scalable way to solve this problem.

研究の動機と目的

• 職業的チャットボットにおいて、スクリプト化されていない非タスク指向のユーザークエリに対処する課題に取り組むこと。これらは一般的な「わかりません」の応答により、しばしばユーザーの不満を引き起こす。
• 高精度でカバー範囲が広く、応答の安全性と信頼性を保証する、スケーラブルで解釈可能なシステムを設計すること。
• 具体的な意図と一般的な意図のレベルを備えた階層的意図構造を導入することで、雑談意図分類の曖昧さを低減し、人的アノテーションの負担を軽減すること。
• シーケンス・トゥ・シーケンス生成モデルを職業的環境に安全に導入するための信頼できるシグナルを提供すること。これにより、攻撃的または不適切な応答を回避する。
• 自然な応答を提供することでユーザーの関与度を向上させつつ、応答品質と適切さを制御すること。

提案手法

• システムはマルチステージパイプラインを採用している：まずバイナリ分類器を用いてクエリが雑談かどうかを検出し、次にパターンマッチング、ファジーマッチング、ニューラル意図分類器を用いて階層的意図（具体的・一般的）に分類する。
• 具体的な意図は、キュレートされたクエリテンプレートと文法規則に基づく正確なマッチング、パターンマッチング、ファジーマッチングにより検出され、高い正確性（91–98%）を達成する。
• 一般的な意図は、453次元の特徴ベクトルを2層の全結合ニューラルネットワーク（Sigmoid活性化関数）に供給し、1,000件以上のクエリを持つクラスタで学習する。
• 最終的なアグレゲータコンponentは、具体的および一般的な意図予測を統合し、安全でないまたは矛盾する予測（例：批判を示す一般的な意図が非常に高い信頼度の場合、具体的な意図を破棄）を抑制するルールを適用する。
• システムは安全シグナルを統合し、危険なクエリに対して自動生成をブロックすることで、安全で適切なクエリのみがシーケンス・トゥ・シーケンスモデルに渡されるようにする。
• パイプラインはキュレート済みの応答、パーソナリティベースの返答、一般的な避難的応答を組み合わせることで、リスクを最小限に抑えつつ、ユーザーの関与を維持する。

実験結果

リサーチクエスチョン

• RQ1 高次元の曖昧さと意図の重複が生じる中で、職業的対話ボットにおける雑談クエリを信頼性高く検出・分類する方法は何か？
• RQ2 スケーラブルで解釈可能な雑談意図検出において、ルールベース、パターンマッチング、学習モデルの最適なバランスは何か？
• RQ3 シーケンス・トゥ・シーケンス生成モデルを職業的チャットボットに安全に統合するにはどうすればよいか？攻撃的または不適切な応答のリスクを回避するには？
• RQ4 具体的対一般的な階層的意図分類は、雑談理解におけるカバー範囲と正確性をどの程度向上させられるか？
• RQ5 ルールに基づいたモジュラーなパイプラインは、エンドツーエンドモデルに比べて、解釈可能性、安全性、実世界の雑談クエリにおける性能の面で優れていると言えるか？

主な発見

• システムは、雑談意図検出において82%の未加重精度と79%の未加重再現率を達成し、既存のシステム（73%精度、56%再現率）を著しく上回っている。
• 正確なマッチングとパターンマッチングによる具体的な意図検出は、それぞれ98%および94%の精度を達成し、ファジーマッチングは91%の精度を示しており、キュレート済みクエリに対して高い信頼性を示している。
• 一般的な意図分類器は78%の未加重精度を達成しており、一般的な雑談応答の本質的な曖昧さと回避的性質を考慮すると、これは妥当な水準である。
• システム全体は、すべてのコンponentで100%の未加重カバレッジを達成しており、具体的および一般的な意図検出の組み合わせにより、重み付きカバレッジも100%に達している。
• 安全を考慮したアグレゲーションレイヤーは、危険な応答を効果的に抑制している—例として、ユーザーがボットを批判している場合に「command_joke」マッチを破棄している—これにより応答の信頼性が向上している。
• 安全シグナルの統合により、自動生成モデルは安全なクエリにのみ適用され、職業的環境における不適切な応答のリスクが低減されている。