[論文レビュー] A Financial Service Chatbot based on Deep Bidirectional Transformers

Yu Shi, Yuxin Chen+1 more|arXiv (Cornell University)|Feb 17, 2020

Topic Modeling参考文献 53被引用数 9

ひとこと要約

本論文では、381の意図を高い精度で分類するために微調整されたBERTモデルを基盤に構築されたタスク指向型金融サービスチャットボットAVAを提示する。本研究では、予測不確実性を推定するための新規な不確実性評価手法（モンテカルロドロップアウトとエントロピーに基づくしきい値）を導入し、エスカレーション意思決定の改善を図った。また、BERTのマスキング言語モデルを活用して自動スペルチェックを実現し、ノイズの多い入力に対する意図分類のロバスト性を向上させた。

ABSTRACT

We develop a chatbot using Deep Bidirectional Transformer models (BERT) to handle client questions in financial investment customer service. The bot can recognize 381 intents, and decides when to say "I don't know" and escalates irrelevant/uncertain questions to human operators. Our main novel contribution is the discussion about uncertainty measure for BERT, where three different approaches are systematically compared on real problems. We investigated two uncertainty metrics, information entropy and variance of dropout sampling in BERT, followed by mixed-integer programming to optimize decision thresholds. Another novel contribution is the usage of BERT as a language model in automatic spelling correction. Inputs with accidental spelling errors can significantly decrease intent classification performance. The proposed approach combines probabilities from masked language model and word edit distances to find the best corrections for misspelled words. The chatbot and the entire conversational AI system are developed using open-source tools, and deployed within our company's intranet. The proposed approach can be useful for industries seeking similar in-house solutions in their specific business domains. We share all our code and a sample chatbot built on a public dataset on Github.

研究の動機と目的

• コール処理時間の短縮と専門家依存の低減を実現する、信頼性の高い社内タスク指向型チャットボットの開発。
• スコープ外または曖昧なクエリに対処するため、不確実性を考慮した意思決定による人間エージェントへの正確なエスカレーションを可能にする。
• BERTベースの自動スペル訂正を統合することで、現実世界のノイズの多い入力に対する意図分類のロバスト性を向上させる。
• モデル distillation とアーキテクチャのプルーニングにより、精度の著しい低下を伴わず推論効率を最適化する。
• 市販ツールとモデルを用いて、本番環境で利用可能なオープンソースのデプロイ可能な会話型AIシステムを提供する。

提案手法

• ドメイン固有のトレーニングデータを用いて、381の金融サービスの意図分類に向けた微調整された BERT-base を使用。
• 推論段階でモンテカルロドロップアウト（MCD）を適用し、異なるドロップアウトマスクを用いた複数回の順伝播により、予測の不確実性を推定。
• 予測の信頼性を評価するための2つの不確実性指標（情報エントロピーとMCD予測の分散）を評価。
• 混合整数プログラミングを用いて、自信のある予測、不確実な予測、スコープ外のクエリを区別するための意思決定しきい値を最適化。
• BERTのマスキング言語モデルと単語の編集距離（例：レーベンシュタイン距離）を組み合わせ、意図分類の前に誤字を特定・訂正。
• Rasa、PyTorch、TensorFlow などのオープンソースツールを用いてデプロイし、AWS SageMaker にRESTful API をホスティングし、Bot Framework を介して Microsoft Teams に統合。

実験結果

リサーチクエスチョン

• RQ1 BERTベースの意図分類における不確実性は、どのように効果的に評価され、本番環境のチャットボットにおけるエスカレーション意思決定の改善に活用できるか？
• RQ2 実世界の金融NLPタスクにおいて、ドロップアウトサンプリングのエントロピーと分散は、不確実性指標として相対的にどの程度の性能を示すか？
• RQ3 BERTの事前学習済み言語モデル機能は、意図分類のロバスト性を向上させるために、自動スペル訂正に効果的に再利用可能か？
• RQ4 BERTモデルの圧縮（アテンションヘッドと隠れ層の削減）は、精度の著しい低下を伴わず、推論スループットをどの程度向上させ、遅延をどの程度低減できるか？
• RQ5 不確実性を考慮した分類とスペル訂正を組み合わせたハイブリッドアプローチは、クローズドドメインの金融チャットボットの信頼性をどの程度向上できるか？

主な発見

• エントロピーに基づく不確実性しきい値を用いたモンテカルロドロップアウトの適用により、ボットはスコープ外のクエリを検出・エスカレートする能力が著しく向上し、誤った応答が減少した。
• 元の BERT-Small アーキテクチャ（12アテンションヘッド、12隠れ層）を用いた場合、意図分類の正確度は94.4%を達成したが、6アテンションヘッドと6隠れ層に削減した場合、1.6%の精度低下を示した。
• 最小化された最適化モデル（6A-6H）は、元の BERT-Small と比較して2倍のスループット（18.1リクエスト/秒）と半分の遅延（552 ms）を達成し、精度低下はわずか1.6%にとどまった。
• BERTのマスキング言語モデル確率と編集距離を組み合わせたスペル訂正モジュールは、ユーザー入力のタイポが原因で生じる意図分類エラーを効果的に低減した。
• 混合整数プログラミングを用いて、不確実性に基づくエスカレーションの最適なしきい値を決定することができ、スコープ外検出における適合率と再現率のバランスが取れた。
• システム全体がオープンソースツールを用いて社内ソリューションとして正常にデプロイされ、企業規模の金融チャットボットにおける実現可能性とスケーラビリティを示した。