[論文レビュー] AliCG: Fine-grained and Evolvable Conceptual Graph Construction for Semantic Search at Alibaba

Ningyu Zhang, Qianghuai Jia+9 more|arXiv (Cornell University)|Jun 3, 2021

Advanced Text Analysis Techniques参考文献 29被引用数 5

ひとこと要約

AliCGは、Alibabaにおける意味的検索のための細粒度で拡張可能な概念的グラフフレームワークを提案する。ノイズの多い検索ログから希少で動的な概念を、アライメントコンセンサスを用いたブートストラップと低リソースフレーズ抽出によって抽出し、ユーザー行動モデリングによりリアルタイムでの分類体系の更新を可能にする。オンラインA/Bテストでは、1日3億件を超えるリクエストを処理するAlibaba UCブラウザで、CTRが5.1%向上し、インプレッション効率が7.01%向上した。

ABSTRACT

Conceptual graphs, which is a particular type of Knowledge Graphs, play an essential role in semantic search. Prior conceptual graph construction approaches typically extract high-frequent, coarse-grained, and time-invariant concepts from formal texts. In real applications, however, it is necessary to extract less-frequent, fine-grained, and time-varying conceptual knowledge and build taxonomy in an evolving manner. In this paper, we introduce an approach to implementing and deploying the conceptual graph at Alibaba. Specifically, We propose a framework called AliCG which is capable of a) extracting fine-grained concepts by a novel bootstrapping with alignment consensus approach, b) mining long-tail concepts with a novel low-resource phrase mining approach, c) updating the graph dynamically via a concept distribution estimation method based on implicit and explicit user behaviors. We have deployed the framework at Alibaba UC Browser. Extensive offline evaluation as well as online A/B testing demonstrate the efficacy of our approach.

研究の動機と目的

• 形式的なテキストからの粗粒度で頻度が高く、静的なコンセプトしか抽出できない既存の概念的グラフの限界を解消する。
• ノイズが多く、短くリソースが限られた検索クエリから、細粒度で長尾のコンセプトを抽出することを可能にする。
• ユーザーの暗黙的および明示的な行動に基づいて、概念的分類体系の動的進化を支援する。
• スケーラブルでプロダクション運用に適した概念的グラフシステムを実装し、現実世界の応用における意味的検索および下流のNLPタスクを強化する。
• 進化を遂げる高粒度のコンセプトを捉えることで、検索エンジンにおける意味的理解を向上させ、微細なユーザーの意図を捉える。

提案手法

• 多様なソースからの複数の弱い監視信号をアライメントすることで、コンセンサスをとるブートストラップ手法を提案し、細粒度のコンセプトを抽出する。
• 最小限のラベル付きデータで、短くノイズの多いクエリから希少で長尾のコンセプトを特定する低リソースフレーズ抽出手法を導入する。
• ユーザー行動（クリック、滞在時間、検索パターン）をモデル化するコンセプト分布推定手法を設計し、コンセプトの人気度と分類体系構造の動的更新を可能にする。
• 4段階の階層的概念的グラフを構築する：ドメイン（レベル1）、タイプ／サブクラス（レベル2）、ユーザー意図の細粒度の概念的表現（レベル3）、インスタンス（レベル4）。
• 事前学習とテキスト再ライティング戦略を活用し、概念的グラフを用いてエンティティ推薦とクエリ理解を強化する。
• フレームワークをAlibaba UCブラウザに実装し、意図分類や名前付きエンティティ認識を含む複数のNLPパイプラインに統合する。

実験結果

リサーチクエスチョン

• RQ1 制限された文脈と共起信号を持つノイズが多く、短い検索クエリから、細粒度で長尾のコンセプトをどのように効果的に抽出できるか？
• RQ2 手動での再トレーニングを必要とせず、リアルタイムのユーザー行動に基づいて概念的分類体系をどのように動的に進化できるか？
• RQ3 低データ環境下で、希少だが意味的に重要なコンセプトを抽出するために、低リソースフレーズ抽出をどのように最適化できるか？
• RQ4 動的進化を遂げる概念的グラフは、現実世界の意味的検索およびレコメンデーションシステムのパフォーマンスにどの程度向上をもたらすか？
• RQ5 アライメントコンセンサスを用いたブートストラップフレームワークは、従来のパターンベースや系列ラベル付け手法に比べ、コンセプト抽出の品質とカバレッジで優れているか？

主な発見

• AliCGフレームワークは、検索ログから500万を超える細粒度で進化を遂げるコンセプトを効果的に抽出し、長尾および希少コンセプトの高いカバレッジを達成した。
• Alibaba UCブラウザにおけるオンラインA/Bテストでは、クリックストラックレート（CTR）が5.1%相対的に向上し、ページビュー（PV）が5.5%増加し、インプレッション効率が7.01%向上した。
• 概念的グラフが使用された際、ユーザーはコンテンツに0.92%長く滞在した。これは、ユーザーの意図とより良い一致を図っていることを示している。
• 本システムは、意図分類および名前付きエンティティ認識において、概念的グラフを備えないベースラインモデルに比べ、顕著な向上を示した。
• 低リソースフレーズ抽出手法は、たった35件のインスタンスしか存在しない「希少な精神的障害」のような希少コンセプトを効果的に捉えた。
• コンセプト分布推定手法により、分類体系のリアルタイム更新が可能となり、現在のユーザー関心や検索トレンドに即した関連性を維持した。