[論文レビュー] Towards Semantic Query Segmentation

Ajinkya Kale, Thrivikrama Taula+2 more|arXiv (Cornell University)|Jul 25, 2017

Topic Modeling参考文献 17被引用数 5

ひとこと要約

本論文は、手作業で作成されたNLP特徴量や外部知識ベースに依存せずに、低次元の分散表現を用いた教師ありクエリセグメンテーション手法を提案する。fastTextのcbowアーキテクチャを用いた分散表現を学習し、XGBoost分類器を訓練することで、eBayの50K件のECクエリコーパス上で79.9%のセグメンテーション精度を達成。n-gramベースラインを上回り、微調整なしで異なるドメインへも良好に一般化する。

ABSTRACT

Query Segmentation is one of the critical components for understanding users' search intent in Information Retrieval tasks. It involves grouping tokens in the search query into meaningful phrases which help downstream tasks like search relevance and query understanding. In this paper, we propose a novel approach to segment user queries using distributed query embeddings. Our key contribution is a supervised approach to the segmentation task using low-dimensional feature vectors for queries, getting rid of traditional hand tuned and heuristic NLP features which are quite expensive. We benchmark on a 50,000 human-annotated web search engine query corpus achieving comparable accuracy to state-of-the-art techniques. The advantage of our technique is its fast and does not use external knowledge-base like Wikipedia for score boosting. This helps us generalize our approach to other domains like eCommerce without any fine-tuning. We demonstrate the effectiveness of this method on another 50,000 human-annotated eCommerce query corpus from eBay search logs. Our approach is easy to implement and generalizes well across different search domains proving the power of low-dimensional embeddings in query segmentation task, opening up a new direction of research for this problem.

研究の動機と目的

• 検索エンジンにおける意味的クエリセグメンテーションの課題に取り組むこと。従来の手法は高コストなヒューリスティックなNLP特徴量に依存している。
• Wikipediaなどの外部知識ベースに依存しない、スケーラブルでドメインに一般化可能なアプローチを開発すること。
• 低次元の分散表現を活用し、意味的および文法的関係を暗黙的に捉えることで、セグメンテーション精度を向上させること。
• ウェブ検索およびECクエリコーパスの両方で手法を評価し、ドメイン間での一般化能力を示すこと。
• 単語表現が綴りの変種や語順の変化を暗黙的に処理できることを示し、n-gramベースラインよりも耐障害性が向上すること。

提案手法

• 本手法は、クエリ全体の意味的および文法的文脈を捉えるために、fastTextを用いて低次元の分散表現を学習する。
• クエリ表現はcbowおよびskip-gramアーキテクチャを用いて学習され、その中でcbowが優れた性能を示した。
• XGBoost分類器を用いて、クエリ表現に基づき隣接するトークン間のセグメンテーションブレークを予測する。
• グリッドサーチによるハイパーパramータチューニングにより、最適な設定が特定された：cbowでは800エスティメーターおよび深さ6、skip-gramでは500エスティメーターおよび深さ4。
• 学習データは、少なくとも3人のアノテーターのうち2人以上がアノテートした50K件のクエリコーパスから得られ、80-20%のトレイン・テスト分割が実施された。
• セグメンテーションの意思決定は、学習済みの分散表現に基づき隣接するトークン間のブレークポイントを予測することで行われる。

実験結果

リサーチクエスチョン

• RQ1 分散クエリ表現は、手作業で作成したNLP特徴量に代わってクエリセグメンテーションに使用可能であり、精度を維持または向上させることができるか？
• RQ2 ウェブ検索クエリで学習したモデルが、微調整なしにEC検索クエリに一般化できるか？
• RQ3 n-gramベースラインと比較して、低次元の表現が語順の変化に対してどれほど耐性があるか？
• RQ4 意味的表現がクエリ内の綴りの変種や語彙形の変化をどの程度暗黙的に処理できるか？
• RQ5 人間のアノテーター間の合意率が低い曖昧なクエリやドメイン固有のクエリにおいて、モデルの性能はどの程度か？

主な発見

• 提案手法は、eBayのECクエリコーパスで79.9%のセグメンテーション精度を達成し、ベースラインのn-gramモデル（71.3%）を顕著に上回った。
• クエリ単位の精度は、n-gramモデルの57.8%から、fastTextのcbow + XGBoostを用いた場合の68.3%に向上し、クエリの意図をより良い理解が可能になった。
• fastTextのcbowアーキテクチャがskip-gramよりも優れた結果を示し、グリッドサーチにより最適なXGBoost設定が特定された。
• モデルはドメイン間で良好に一般化され、50K件のAOLウェブ検索コーパスおよびeBayのECコーパスの両方で同等の性能を発揮した。
• 語順の変化に対しても耐性があり、例として「boost 350 yeezy」を1つの単位として正しくセグメンテーションしたが、n-gramモデルでは失敗した。
• 3人のアノテーター間で25%の合意率という低水準でも、モデルは高い性能を達成しており、アノテーションの曖昧性を超えて安定した意味的パターンを学習していることが示唆された。