[논문 리뷰] Towards Semantic Query Segmentation

Ajinkya Kale, Thrivikrama Taula외 2명|arXiv (Cornell University)|2017. 07. 25.

Topic Modeling참고 문헌 17인용 수 5

한 줄 요약

이 논문은 수동으로 작성된 NLP 기능과 외부 지식 기반 시스템에 의존하지 않고, 저차원 분산 쿼리 임베딩을 사용하는 지도 학습 기반 쿼리 분할 방법을 제안한다. fastText 임베딩(CBOW 아키텍처)을 기반으로 XGBoost 분류기를 훈련시켜 이베이의 50K 전자상거래 쿼리 코퍼스에서 79.9%의 분할 정확도를 달성하였으며, 이는 기준선 n-gram 모델을 능가하고, 미세조정 없이도 다양한 도메인으로의 일반화 능력이 뛰어나다.

ABSTRACT

Query Segmentation is one of the critical components for understanding users' search intent in Information Retrieval tasks. It involves grouping tokens in the search query into meaningful phrases which help downstream tasks like search relevance and query understanding. In this paper, we propose a novel approach to segment user queries using distributed query embeddings. Our key contribution is a supervised approach to the segmentation task using low-dimensional feature vectors for queries, getting rid of traditional hand tuned and heuristic NLP features which are quite expensive. We benchmark on a 50,000 human-annotated web search engine query corpus achieving comparable accuracy to state-of-the-art techniques. The advantage of our technique is its fast and does not use external knowledge-base like Wikipedia for score boosting. This helps us generalize our approach to other domains like eCommerce without any fine-tuning. We demonstrate the effectiveness of this method on another 50,000 human-annotated eCommerce query corpus from eBay search logs. Our approach is easy to implement and generalizes well across different search domains proving the power of low-dimensional embeddings in query segmentation task, opening up a new direction of research for this problem.

연구 동기 및 목표

• 기존 방법이 비용이 많이 들고 히ュ리스틱 기반의 NLP 기능에 의존하는 검색 엔진 내 의미론적 쿼리 분할 문제를 해결하기 위해.
• 위키백과와 같은 외부 지식 기반 시스템에 의존하지 않는 확장성 있고 도메인에 관계없이 일반화 가능한 접근법을 개발하기 위해.
• 저차원 분산 임베딩을 활용해 의미적 및 문법적 관계를 암묵적으로 포착함으로써 분할 정확도를 향상시키기 위해.
• 웹 검색 및 전자상거래 쿼리 코퍼스에서의 성능 평가를 통해 도메인 간 일반화 능력을 입증하기 위해.
• 단어 임베딩이 철자 오류 및 어순 변화를 암묵적으로 처리할 수 있음을 보여주어 n-gram 기준선 대비 강건성을 향상시키기 위해.

제안 방법

• 이 방법은 전체 쿼리에 대해 의미적 및 문법적 맥락을 포착하는 저차원 분산 임베딩을 학습하기 위해 fastText를 사용한다.
• 쿼리 임베딩은 CBOW 및 스킵그램 아키텍처를 사용하여 훈련되며, CBOW가 더 뛰어난 성능을 보였다.
• 학습된 쿼리 임베딩 기반으로 인접 토큰 간 분할 점을 예측하는 XGBoost 분류기가 훈련된다.
• 그리드 서치를 통한 초모수 튜닝을 통해 최적의 설정을 도출: CBOW의 경우 800개의 추정기와 깊이 6, 스킵그램의 경우 500개의 추정기와 깊이 4.
• 훈련 데이터는 최소 3명의 인간 평가자 중 2명 이상이 애너테이션한 50K 쿼리 코퍼스에서 유래하였으며, 훈련/테스트 분할 비율은 80-20%였다.
• 분할 결정은 학습된 임베딩 표현을 기반으로 인접 토큰 간의 분할 지점 예측을 통해 이루어진다.

실험 결과

연구 질문

• RQ1 분산 쿼리 임베딩이 수동으로 작성된 NLP 기능을 대체하면서도 정확도를 유지하거나 향상시킬 수 있는가?
• RQ2 웹 검색 쿼리에서 훈련된 모델이 미세조정 없이 전자상거래 검색 쿼리에 대해 얼마나 잘 일반화되는가?
• RQ3 저차원 임베딩을 사용할 경우 n-gram 기준선 대비 어순 변화에 대해 더 강건한가?
• RQ4 의미 임베딩이 쿼리 내 철자 오류 및 형태소 변형을 얼마나 잘 암묵적으로 처리하는가?
• RQ5 인간 평가자 간 일치도가 낮은 모호하거나 도메인 전용 쿼리에서 모델의 성능은 어떠한가?

주요 결과

• 제안된 방법은 이베이 전자상거래 쿼리 코퍼스에서 79.9%의 분할 정확도를 달성하여 기준선 n-gram 모델(71.3%)을 크게 능가하였다.
• 쿼리 수준 정확도는 n-gram 기준 57.8%에서 fastText CBOW + XGBoost 기준 68.3%로 향상되어 쿼리 의도에 대한 전반적인 이해도가 향상됨을 시사한다.
• fastText 임베딩의 CBOW 아키텍처가 스킵그램보다 더 우수한 성능을 보였으며, 그리드 서치를 통해 최적의 XGBoost 설정이 도출되었다.
• 모델는 도메인 간 일반화 능력이 뛰어나, 50K AOL 웹 검색 코퍼스와 이베이 전자상거래 코퍼스에서 유사한 성능을 기록하였다.
• 어순 변화에 대한 강건성이 입증되었으며, 예를 들어 "boost 350 yeezy"를 n-gram 모델이 실패하는 동안도 올바르게 하나의 단위로 분할하였다.
• 모든 3명의 평가자 간 일치도가 낮았음에도 불구하고(전체 평균 일치도 25%), 모델은 높은 성능을 기록하여, 애너테이션의 불확실성 초과하는 안정적인 의미 패턴을 학습하고 있음을 시사한다.