[논문 리뷰] Personalized neural language models for real-world query auto completion

Nicolas Fiorini, Zhiyong Lu|arXiv (Cornell University)|2018. 04. 17.

Web Data Mining and Analysis참고 문헌 18인용 수 7

한 줄 요약

이 논문은 사용자 고유의 쿼리 히스토리와 시간 민감도를 통합하여 예측 정확도와 다양성을 향상시키고, 희귀하거나 미리보지 않은 쿼리에 특히 유리한 개인화된 신경 언어 모델을 제안한다. 이 방법은 재랭킹을 피함으로써 확장성 향상을 이룩하여 일반 웹 및 생물의학 검색 데이터셋에서 모두 최신 기술 성능(SOTA)을 달성하며, 정확도와 효율성 면에서 이전 방법을 능가한다.

ABSTRACT

Query auto completion (QAC) systems are a standard part of search engines in industry, helping users formulate their query. Such systems update their suggestions after the user types each character, predicting the user's intent using various signals - one of the most common being popularity. Recently, deep learning approaches have been proposed for the QAC task, to specifically address the main limitation of previous popularity-based methods: the inability to predict unseen queries. In this work we improve previous methods based on neural language modeling, with the goal of building an end-to-end system. We particularly focus on using real-world data by integrating user information for personalized suggestions when possible. We also make use of time information and study how to increase diversity in the suggestions while studying the impact on scalability. Our empirical results demonstrate a marked improvement on two separate datasets over previous best methods in both accuracy and scalability, making a step towards neural query auto-completion in production search engines.

연구 동기 및 목표

• 희귀하거나 미리보지 않은 쿼리를 처리하는 데에 있어 인기 기반 쿼리 자동완성(MPC)의 한계를 해결하기 위해.
• 개인화 및 시간 민감도를 통합하여 관련성과 다양성이 향상된 신경 언어 모델을 개발하기 위해.
• LambdaMART와 같은 재랭킹 파이프라인의 필요성을 제거함으로써 확장성을 향상시키기 위해.
• 쿼리 다양성과 어휘가 더 넓은 전문 분야인 생물의학 분야에서의 성능을 평가하기 위해.
• 정확도, 다양성, 계산 효율성의 균형을 맞춘 프로덕션 준비된 아키텍처를 제공하기 위해.

제안 방법

• 쿼리 접두어의 다음 문자를 예측하기 위해 문자 수준의 RNN을 사용하며, GRU 또는 LSTM 셀을 활용한다.
• 과거 쿼리 히스토리에서 유도된 사용자 고유의 임베딩을 통합하여 예측을 개인화한다.
• 시간 민감도를 반영하기 위해 시간적 특징을 인코딩하여 쿼리 인기의 시간적 변화를 반영한다.
• 균형 잡힌 범위 탐색 전략을 적용하여 상위-k 제안의 다양성을 증진하고 중복을 줄인다.
• 최종 성능를 직접 최적화함으로써 후처리 재랭킹이 필요 없도록 하여 확장성 향상을 도모한다.
• 두 데이터셋에서의 실제 쿼리 로그를 기반으로 모델을 훈련한다: AOL(일반 웹 검색) 및 생물의학 데이터셋.

실험 결과

연구 질문

• RQ1 사용자 개인화 통합이 희귀 쿼리에 대한 쿼리 자동완성 성능에 어떻게 기여하는가?
• RQ2 시간 민감도는 특히 시간에 따라 변화하는 쿼리에 대해 예측 정확도를 얼마나 향상시키는가?
• RQ3 균형 잡힌 범위 탐색 전략은 정확도를 희생시키지 않고 제안의 다양성을 효과적으로 증가시킬 수 있는가?
• RQ4 일반 웹 검색과 비교했을 때, 생물의학과 같은 전문 분야에서 제안된 모델의 성능은 어떠한가?
• RQ5 LambdaMART와 같은 외부 재랭킹 방법에 의존하지 않고도 신경 언어 모델이 최신 기술 성능(SOTA)을 달성할 수 있는가?

주요 결과

• 사용자 및 시간 정보를 포함한 NQAC UT 모델은 희귀 쿼리에 대해 최고의 성능을 기록하며, 비개인화 모델 대비 MRR을 21% 향상시켰다.
• 사용자 정보는 본 적 있는 쿼리에 대한 성능을 크게 향상시켜 MRR을 23% 증가시켰다.
• 균형 잡힌 범위 탐색 전략을 통한 다양성 향상은 생물의학 데이터셋에서 성능을 19% 향상시켰으며, 본 적 있는 쿼리와 없는 쿼리 간의 균형을 잘 유지했다.
• 생물의학 데이터셋에서는 MPC가 쿼리 인기의 저하로 인해 성능이 열악했고, NQAC UT +D는 MPC 및 NQLM를 모두 능가하는 최고의 전체 MRR 기록을 달성했다.
• 약 100만 건의 쿼리 이후로 의미 있는 예측을 달성했지만, 생물의학 데이터셋은 손실 안정화를 위해 더 많은 에포크 수가 필요했다.
• NQAC UT +MPC 조합은 생물의학 데이터셋에서 가장 높은 전체 MRR 기록을 달성했지만, LambdaMART는 성능 향상을 이끌지 못해 이 맥락에서 재랭킹의 유용성이 떨어졌다.