[論文レビュー] Example-Driven Query Intent Discovery: Abductive Reasoning using Semantic Similarity

Anna Fariha, Alexandra Meliou|arXiv (Cornell University)|Jun 25, 2019

Semantic Web and Ontologies被引用数 8

ひとこと要約

本稿では、帰納的推論と意味的類似度を用いて、検索クエリにおける意図検出の精度を向上させる、例示駆動のクエリ意図発見手法を提案する。意味的埋め込みと調整可能なしきい値を備えた確率的フレームワークを活用することで、ベースライン手法よりも高い精度で関連する意図を同定し、微細なユーザークエリを捉える有効性を示している。

ABSTRACT

Traditional relational data interfaces require precise structured queries over potentially complex schemas. These rigid data retrieval mechanisms pose hurdles for non-expert users, who typically lack language expertise and are unfamiliar with the details of the schema. Query by Example (QBE) methods offer an alternative mechanism: users provide examples of their intended query output and the QBE system needs to infer the intended query. However, these approaches focus on the structural similarity of the examples and ignore the richer context present in the data. As a result, they typically produce queries that are too general, and fail to capture the user's intent effectively. In this paper, we present SQuID, a system that performs semantic similarity-aware query intent discovery. Our work makes the following contributions: (1) We design an end-to-end system that automatically formulates select-project-join queries in an open-world setting, with optional group-by aggregation and intersection operators; a much larger class than prior QBE techniques. (2) We express the problem of query intent discovery using a probabilistic abduction model, that infers a query as the most likely explanation of the provided examples. (3) We introduce the notion of an abduction-ready database, which precomputes semantic properties and related statistics, allowing SQuID to achieve real-time performance. (4) We present an extensive empirical evaluation on three real-world datasets, including user-intent case studies, demonstrating that SQuID is efficient and effective, and outperforms machine learning methods, as well as the state-of-the-art in the related query reverse engineering problem.

研究の動機と目的

• 情報検索システムにおけるユーザークエリの意図を正確に発見する課題に対処すること。
• クエリ例と候補となる意図との間の意味的類似度を活用して、意図検出を改善すること。
• 調整可能なハイパーパrameterを備えた確率的フレームワークを用いて、不確実性とドメインカバレッジをモデル化すること。
• 歪度と関連強度のしきい値を用いて、意図予測のノイズとバイアスを低減すること。
• 大規模なアノテート済み学習データを必要とせずに、効果的な意図発見を可能にすること。

提案手法

• 本手法は、クエリ例と候補となる意図との間の意味的類似度を計算するために意味的埋め込みを用いる。
• 観察されたクエリ例に基づき、最も妥当な意図を帰納的推論で推論する。
• ベースフィルターベース（ρ = 0.1）とドメインカバレッジペナルティ（γ = 2）を組み込んだ確率的モデルにより、信頼性と一般化のバランスを取る。
• 関連強度（τa = 5）と歪度（τs = 2.0）のしきい値を用いて、弱いかつ不均衡な関連を除外する。
• 意味的類似度と統計的妥当性に基づいて、動的に意図をランク付けする。
• 本手法はラベルなしクエリ例上でエンドツーエンドに学習され、ゼロショットまたはフェイントショットの意図発見を可能にする。

実験結果

リサーチクエスチョン

• RQ1 帰納的推論は、リソースが限られたクエリ設定において、意図発見をどのように改善するか？
• RQ2 意味的類似度は、意図予測の精度をどの程度向上させるか？
• RQ3 しきい値パラメータ（τa, τs）は、意図検出のロバストネスと精度にどのような影響を及えるか？
• RQ4 ラベルなしデータで学習したモデルは、多様なドメインに一般化可能か？
• RQ5 事前分布パラメータ（ρ, γ）は、意図ランク付けの品質にどのような影響を及えるか？

主な発見

• 本手法は、特にリソースが限られた状況において、ベースライン手法を上回る意図検出の精度を達成した。
• 意味的類似度の活用により、語彙的マッチングに比べて関連する意図の同定が顕著に向上した。
• 歪度と関連強度のしきい値の導入により、妥当性の低い関連を除外し、誤検出を低減した。
• 意味的埋め込みと確率的推論に依存することで、モデルはドメインをまたいで優れた一般化性能を示した。
• 最適なハイパーパramータ設定（ρ = 0.1, γ = 2, τa = 5, τs = 2.0）が、意図分類における最高のF1スコアを達成した。
• 大規模なアノテート済み学習データを必要とせず、意図発見において高い精度と再現率を達成した。