[論文レビュー] AliMe Assist: An Intelligent Assistant for Creating an Innovative E-commerce Experience

Feng-Lin Li, Minghui Qiu+10 more|arXiv (Cornell University)|Jan 12, 2018

Topic Modeling参考文献 8被引用数 31

ひとこと要約

AliMe Assist は、ハイブリッド NLP テクニックを用いて質問応答、カスタマーサービス、チャット機能を統合した産業スケールのインテリジェントアシスタントです。畳み込みニューラルネットワーク（CNN）を用いた意図分類、意味的正規化を伴う知識グラフ検索、および注意メカニズムを備えたシーケンス・ツー・シーケンス再ランク付けを施したハイブリッドリtrieーブ・ジェネレーティブモデルを組み合わせることで、1日数百万件のクエリに対して85%の意図解決率を達成しています。

ABSTRACT

We present AliMe Assist, an intelligent assistant designed for creating an innovative online shopping experience in E-commerce. Based on question answering (QA), AliMe Assist offers assistance service, customer service, and chatting service. It is able to take voice and text input, incorporate context to QA, and support multi-round interaction. Currently, it serves millions of customer questions per day and is able to address 85% of them. In this paper, we demonstrate the system, present the underlying techniques, and share our experience in dealing with real-world QA in the E-commerce field.

研究の動機と目的

• 実世界のインテリジェントアシスタントを設計・展開し、自動支援、カスタマーサービス、チャットサポートを通じて e コマースの顧客体験を向上させること。
• 従来のカスタマーサービスの限界（利用可能時間の制限、応答遅延、人的コストの高騰）を解消するため、繰り返し発生する問い合わせを自動化すること。
• 文脈、知識グラフ、ハイブリッドリtrieーブ・ジェネレーティブモデルを統合することで、e コマースにおける質問応答の精度を向上させること。
• 生産スケールの環境で、複雑なユーザークエリに対して文脈を考慮したマルチラウンド対話を可能にすること。
• 繰り返し発生する一般的なクエリに対して人的対応に依存することを減らしつつ、高い精度とユーザー満足度を維持すること。

提案手法

• 文脈統合を実現した CNN ベースのモデルを用いて意図分類を行い、支援、カスタマーサービス、チャットの意図を区別する。
• 意味的正規化と知識グラフを活用し、ユーザーの質問を構造化されたエンティティにマッピングし、知識指向のクエリに対して正確な回答を取得する。
• トライ木ベースのパターンマッチャーを用いて事前定義済みのクエリ（例：プロモーションオファー）を処理し、フライト予約などのタスク指向のリクエストに対してはスロットフィルティングエンジンを起動する。
• チャット対話では、情報検索（IR）とシーケンス・ツー・シーケンス（Seq2Seq）生成モデルをハイブリッドで統合し、信頼度スコアに基づいて IR の候補を再ランク付けするための注意メカニズムを備えた Seq2Seq モデルを用いる。
• マルチターン対話全体で文脈を活用する：初期のクエリに十分な情報が不足している場合、システムは前回の会話内容を統合して情報を補完した後、再処理を行う。
• マルチレイヤーのルーティングアーキテクチャを採用：入力 → ビジネスルールパーサー → 意図分類器 → 意味的パーサー → 知識グラフまたはリtrieーブエンジン → 応答生成または人的対応への移管。

実験結果

リサーチクエスチョン

• RQ1 1 つの統合システム内で、タスク指向のリクエストからカスタマーサービス、カジュアルなチャットに至るまで多様な e コマースクエリを効果的に処理する方法は何か？
• RQ2 文脈を考慮したマルチラウンド対話は、実世界の e コマース QA において意図分類と回答精度をどの程度向上させるか？
• RQ3 オープンドメインのチャット状況において、ハイブリッドリtrieーブ・ジェネレーティブモデルは、単独の IR モデルや生成モデルを上回る性能を示せるか？
• RQ4 知識グラフと意味的正規化は、e コマースにおける知識指向の質問応答の精度をどのように向上させるか？
• RQ5 産業スケールのアシスタントは、高スループットかつ低レイテンシの顧客クエリを実際にどの程度効果的に解決できるか？

主な発見

• AliMe Assist は、生産環境で1日数百万件のクエリを処理し、そのうち85%を自動で解決している。
• ハイブリッドリtrieーブ・ジェネレーティブモデルは、600件のテストクエリに対してトップ1の受け入れ可能な回答率が60.01%を達成し、単独の IR モデル（47.11%）や Seq2Seq 生成モデル（52.02%）を上回った。
• オンライン A/B テストの結果、ハイブリッドモデルの優位性が確認され、トップ1の正答率は60.36%（IR 単体では40.86%）を記録した。
• CNN ベースの文脈対応意図分類器は、クエリを適切なサービスにルーティングするのに効果的であり、ルーティング精度を向上させるとともに人的対応の必要を減らした。
• 意味的正規化と知識グラフの統合により、曖昧または非公式なクエリに対しても知識指向の質問応答の精度が顕著に向上した。
• 文脈の補完を伴うマルチラウンド対話により、当初情報が不足していた複雑なクエリの解決能力が向上した。