[논문 리뷰] A novel model for query expansion using pseudo-relevant web knowledge

Hiteshwar Kumar Azad, Akshay Deepak|arXiv (Cornell University)|2019. 08. 27.

Information Retrieval and Search Behavior참고 문헌 53인용 수 4

한 줄 요약

이 논문은 Google, Bing, DuckDuckGo에서 유사한 관련 웹 콘텐츠를 활용하여 확장된 쿼리 텀을 생성함으로써 정보 검색 성능을 햖थ한 새로운 웹 지식 기반 쿼리 확장(WKQE) 모델을 제안한다. tf-itf, kNN 기반 코사인 유사도, 상관관계 스코어링을 포함하는 삼단계 가중치 전략을 통해 검색 성능을 향상시켰으며, FIRE 데이터셋에서 확장되지 않은 쿼리 대비 MAP에서 25.89% 향상되고 GMAP에서 30.83% 향상되는 성과를 기록하였다.

ABSTRACT

In the field of information retrieval, query expansion (QE) has long been used as a technique to deal with the fundamental issue of word mismatch between a user's query and the target information. In the context of the relationship between the query and expanded terms, existing weighting techniques often fail to appropriately capture the term-term relationship and term to the whole query relationship, resulting in low retrieval effectiveness. Our proposed QE approach addresses this by proposing three weighting models based on (1) tf-itf, (2) k-nearest neighbor (kNN) based cosine similarity, and (3) correlation score. Further, to extract the initial set of expanded terms, we use pseudo-relevant web knowledge consisting of the top N web pages returned by the three popular search engines namely, Google, Bing, and DuckDuckGo, in response to the original query. Among the three weighting models, tf-itf scores each of the individual terms obtained from the web content, kNN-based cosine similarity scores the expansion terms to obtain the term-term relationship, and correlation score weighs the selected expansion terms with respect to the whole query. The proposed model, called web knowledge based query expansion (WKQE), achieves an improvement of 25.89% on the MAP score and 30.83% on the GMAP score over the unexpanded queries on the FIRE dataset. A comparative analysis of the WKQE techniques with other related approaches clearly shows significant improvement in the retrieval performance. We have also analyzed the effect of varying the number of pseudo-relevant documents and expansion terms on the retrieval effectiveness of the proposed model.

연구 동기 및 목표

• 짧고 모호한 사용자 쿼리로 인해 발생하는 어휘 불일치 문제를 해결하기 위해.
• 기존 가중치 모델보다 term-term 관계와 term-to-query 관련성 모두를 더 효과적으로 포착함으로써 쿼리 확장을 향상시키기 위해.
• 다양한 검색 엔진(Google, Bing, DuckDuckGo)의 의사 관련 결과를 확장 텀의 원천으로 사용하는 것의 효과성을 탐색하기 위해.
• 의사 관련 문서 수와 확장 텀 수의 변화가 검색 성능에 미치는 영향을 평가하기 위해.
• tf-itf, kNN 기반 유사도, 상관관계 스코어링을 통합한 하이브리드 가중치 프레임워크를 개발하고 검증하기 위해.

제안 방법

• 각 사용자 쿼리에 대해 주요 검색 엔진(Google, Bing, DuckDuckGo)에서 상위 N개의 웹 결과를 수집하여 의사 관련 문서 풀을 구성한다.
• 이러한 상위 순위 웹 페이지의 집계된 콘텐츠에서 후보 확장 텀을 추출한다.
• 웹 콘텐츠 내에서의 빈도와 역문서 빈도를 기반으로 개별 텀의 스코어를 계산하기 위해 tf-itf 가중치 체계를 적용한다.
• 의미적 유사성을 식별하고 텀-텀 관계를 모델링하기 위해 k-최근접 이웃(kNN) 기반 코사인 유사도를 사용한다.
• 각 확장 텀이 전체 원본 쿼리와 얼마나 잘 일치하는지 평가하기 위해 상관관계 스코어를 계산한다.
• 세 가지 가중치 스코어를 통합하여 최종 확장 텀 세트를 순위 매기고 선택하여 쿼리 재구성한다.

실험 결과

연구 질문

• RQ1 다양한 검색 엔진의 웹 콘텐츠를 조합함으로써 단일 소스 접근 방식에 비해 쿼리 확장 성능이 어떻게 향상되는가?
• RQ2 제안된 세 가지 가중치 모델(tf-itf, kNN 기반 코사인 유사도, 상관관계 스코어)이 텀의 관련성과 검색 성능을 얼마나 향상시키는가?
• RQ3 의사 관련 문서 수와 확장 텀 수의 변화가 WKQE 모델의 총합 검색 성능에 어떻게 영향을 미치는가?
• RQ4 기본 모델 및 최신 기술 기반 쿼리 확장 기법들과 비교했을 때 WKQE 모델은 표준 평가 지표에서 어떤 성능을 보이는가?
• RQ5 제안된 삼단계 가중치 전략이 기존 방법보다 텀-텀 관계와 텀-to-쿼리 관계를 더 잘 포착할 수 있는가?

주요 결과

• WKQE 모델은 FIRE 데이터셋에서 확장되지 않은 쿼리 대비 평균 정밀도(MAP)에서 25.89% 향상되고, GMAP에서 30.83% 향상되는 성과를 기록하였다.
• kNN 기반 코사인 유사도와 상관관계 스코어링 모델은 의미적 관계를 포착하는 데 있어 개별 텀 빈도 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 세 개의 검색 엔진(Google, Bing, DuckDuckGo) 결과를 조합하면 단일 엔진을 사용할 때보다 더 다양한 관련 있는 확장 텀을 도출할 수 있었다.
• 모델의 성능은 확장 텀의 수에 민감하며, 최적의 성능은 15~20개의 텀에서 관찰되었고, 이를 초과하면 성능이 정체되거나 감소하는 경향을 보였다.
• 모든 세 가지 가중치 모델을 통합한 제안된 GBDQE 변종은 모든 평가 지표에서 다른 구성 및 기본 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 사례 연구 결과, 모델이 의미적으로 일관되고 맥락에 부합하는 확장 텀을 생성하는 것으로 나타났으며, 예를 들어 'space'에 관한 질문에 대해 'nasa', 'mars', 'space'와 같은 텀을 추가하는 것으로 확인되었다.