[논문 리뷰] Example-Driven Query Intent Discovery: Abductive Reasoning using Semantic Similarity

Anna Fariha, Alexandra Meliou|arXiv (Cornell University)|2019. 06. 25.

Semantic Web and Ontologies인용 수 8

한 줄 요약

이 논문은 유저 검색 쿼리의 의도 탐지 정확도를 향상시키기 위해 추론적 추론(abductive reasoning)와 의미 유사도를 활용한 예시 기반 쿼리 의도 탐지 방법을 제안한다. 의미 임베딩과 조정 가능한 임계값을 가진 확률적 프레임워크를 활용함으로써, 기준 방법보다 더 높은 정확도로 관련 의도를 식별하며, 미묘한 사용자 쿼리의 특성을 파악하는 데 효과적임을 입증한다.

ABSTRACT

Traditional relational data interfaces require precise structured queries over potentially complex schemas. These rigid data retrieval mechanisms pose hurdles for non-expert users, who typically lack language expertise and are unfamiliar with the details of the schema. Query by Example (QBE) methods offer an alternative mechanism: users provide examples of their intended query output and the QBE system needs to infer the intended query. However, these approaches focus on the structural similarity of the examples and ignore the richer context present in the data. As a result, they typically produce queries that are too general, and fail to capture the user's intent effectively. In this paper, we present SQuID, a system that performs semantic similarity-aware query intent discovery. Our work makes the following contributions: (1) We design an end-to-end system that automatically formulates select-project-join queries in an open-world setting, with optional group-by aggregation and intersection operators; a much larger class than prior QBE techniques. (2) We express the problem of query intent discovery using a probabilistic abduction model, that infers a query as the most likely explanation of the provided examples. (3) We introduce the notion of an abduction-ready database, which precomputes semantic properties and related statistics, allowing SQuID to achieve real-time performance. (4) We present an extensive empirical evaluation on three real-world datasets, including user-intent case studies, demonstrating that SQuID is efficient and effective, and outperforms machine learning methods, as well as the state-of-the-art in the related query reverse engineering problem.

연구 동기 및 목표

• 정보 검색 시스템에서 사용자 쿼리 의도를 정확하게 탐지하는 데 도전하는 것.
• 쿼리 예시와 후보 의도 간의 의미 유사도를 활용하여 의도 탐지 성능을 향상시키는 것.
• 조정 가능한 초모수를 가진 확률적 프레임워크를 통해 불확실성과 도메인 커버리지 모델링하기.
• 왜곡도 및 연관 강도 임계값을 통해 의도 예측의 노이즈와 편향을 줄이는 것.
• 대규모 레이블링된 학습 데이터가 필요 없이 효과적인 의도 탐지 구현을 가능하게 하는 것.

제안 방법

• 쿼리 예시와 후보 의도 간의 유사도를 계산하기 위해 의미 임베딩을 사용한다.
• 관측된 쿼리 예시를 바탕으로 가장 타당성이 높은 의도를 추론하기 위해 추론적 추론을 적용한다.
• 기저 필터 사전확률(ρ = 0.1)과 도메인 커버리지 페널티(γ = 2)를 포함한 확률 모델이 신뢰도와 일반화 능력 간 균형을 이룬다.
• 연관 강도(τa = 5)와 왜곡도(τs = 2.0) 임계값이 약하거나 불균형한 연관성을 걸러낸다.
• 의미 유사도와 통계적 타당성에 기반해 의도를 동적으로 순위 매긴다.
• 프레임워크는 레이블이 없는 쿼리 예시에 대해 엔드 투 엔드로 학습되어, 제로샷 또는 희소한 샘플 설정에서도 의도 탐지가 가능하다.

실험 결과

연구 질문

• RQ1 추론적 추론은 자원이 제한된 쿼리 환경에서 의도 탐지에 어떻게 기여하는가?
• RQ2 의미 유사도는 의도 예측 정확도를 어느 정도 향상시키는가?
• RQ3 임계값 초모수(τa, τs)는 의도 탐지의 강건성과 정밀도에 어떤 영향을 미치는가?
• RQ4 레이블이 없는 데이터로도 모델이 다양한 도메인에 일반화할 수 있는가?
• RQ5 사전확률 초모수(ρ, γ)는 의도 순위 품질에 어떤 영향을 미치는가?

주요 결과

• 특히 자원이 제한된 상황에서 기준 방법보다 높은 의도 탐지 정확도를 달성한다.
• 의미 유사도의 활용은 어휘 매칭에 비해 관련 의도 식별 능력을 크게 향상시킨다.
• 왜곡도 및 연관 강도 임계값의 포함으로 타당성이 떨어지는 연관성의 가짜 양성 결과가 감소했다.
• 의미 임베딩과 확률적 추론에 기반함으로써 모델은 다양한 도메인에 대해 강력한 일반화 능력을 보였다.
• 최적의 초모수 설정(ρ = 0.1, γ = 2, τa = 5, τs = 2.0)이 의도 분류의 최고 F1 스코어를 달성했다.
• 대규모 레이블링된 학습 데이터가 필요 없이도 고정밀도와 고재현율을 달성했다.