[論文レビュー] Real-world Conversational AI for Hotel Bookings

Bai Li, Nanyi Jiang+3 more|arXiv (Cornell University)|Aug 27, 2019

Topic Modeling参考文献 16被引用数 5

ひとこと要約

本論文は、意図分類、固有表現認識、情報取得のためのNLPモデルと統合されたフレームベースの対話管理エンジンを備えた、ホテル予約を目的とした本格的スケールの会話型AIシステムを提示する。BERTの微調整を用いた場合、トップ1リCALLが89.5%に達し、ベースラインを著しく上回り、実稼働環境での高い予約完了率と低いエージェントへの引き継ぎ率を通じて、実世界での有効性が実証された。

ABSTRACT

In this paper, we present a real-world conversational AI system to search for and book hotels through text messaging. Our architecture consists of a frame-based dialogue management system, which calls machine learning models for intent classification, named entity recognition, and information retrieval subtasks. Our chatbot has been deployed on a commercial scale, handling tens of thousands of hotel searches every day. We describe the various opportunities and challenges of developing a chatbot in the travel industry.

研究の動機と目的

• 自然言語インタラクションを用いた、スケーラブルで本格的運用可能なホテル予約向け会話型AIシステムの開発。
• 旅行系ECにおける実世界のNLP課題、特に意図理解、固有表現認識、情報取得の課題に対処すること。
• 機械学習モデルと人間によるフィードバック（ハンドインザループ）を統合し、モデルの頑健性とカバレッジを向上させること。
• エージェントの引き継ぎ率や予約完了率といった実世界の指標を用いて、システムのパフォーマンスを検証すること。

提案手法

• ユーザーのクエリに跨るスロット入力のガイドとして、有限状態オートマトンを用いたフレームベースの対話管理アーキテクチャを採用。
• 意図分類には、予約、ヘルプ、確認要求などのユーザー意図を検出する多クラス分類モデルを実装。
• 固有表現認識（NER）により、日付、場所、予算などのキーデータをユーザーのメッセージから抽出。
• 情報取得（IR）では、ニューラルモデル（平均化されたGloVe埋め込みと[CLS]トークン分類によるBERT微調整）を用いてホテル候補をランク付け。
• 比較のためのルールベースのユニグラムベースラインを用い、ElasticSearchの結果を基に9,000件のアノテート済み検索メッセージでモデルを学習。
• 外部評価には、エージェントの引き継ぎ率と予約完了率といった実世界の指標を用い、システムのパフォーマンスを評価。

実験結果

リサーチクエスチョン

• RQ1 自然言語入力を受け付けるフレームベースの対話システムは、実世界のホテル予約会話に対してどのように効果的に対処できるか？
• RQ2 旅行クエリの意図分類、固有表現認識、情報取得タスクにおいて、どのNLPモデルアーキテクチャが最も高い精度を達成するか？
• RQ3 ユーザーのクエリを関連するホテル結果にマッチングする際、BERTの微調整は、従来のニューラルモデルおよびルールベースのベースラインと比べてどのように優れているか？
• RQ4 エージェントの引き継ぎ率や予約完了率といった実世界の指標は、下位のNLPモデルのパフォーマンスをどの程度反映しているか？

主な発見

• BERT微調整モデルは、情報取得タスクでトップ1リCALLが89.5%、F1スコアが96.1%を達成し、平均化されたGloVeベースラインを著しく上回った。
• 本番環境での運用において、エージェントの引き継ぎ率が低下し、予約完了率が向上した。これにより、NLPパイプラインの実世界での有効性が裏付けられた。
• 低信頼度予測に対して人間エージェントを統合することで、貴重なフィードバックデータが得られ、継続的なモデル改善が可能になった。
• ホテル検索における短いテキスト同士のマッチングにおいて、微調整済みBERTは非常に有効であり、実際のユーザークエリに対して優れた一般化性能を示した。