[논문 리뷰] Personalized Language Model for Query Auto-Completion

Aaron Jaech, Mari Ostendorf|arXiv (Cornell University)|2018. 04. 25.

Topic Modeling참고 문헌 14인용 수 8

한 줄 요약

이 논문은 온라인 사용자 임베딩 업데이트를 통해 개인화된 사용자에 맞게 적응하는 FactorCell 기반 순환 신경망을 사용하여 쿼리 자동완성용 개인화된 언어 모델을 제안한다. 이 모델은 비개인화된 방법과 연결 기반 적응 방법보다 뛰어나며, 특히 미리 보지 못한 사용자에게서도 동적이고 맥락 인식 개인화를 가능하게 하여 제안의 의미적 일관성을 향상시킨다.

ABSTRACT

Query auto-completion is a search engine feature whereby the system suggests completed queries as the user types. Recently, the use of a recurrent neural network language model was suggested as a method of generating query completions. We show how an adaptable language model can be used to generate personalized completions and how the model can use online updating to make predictions for users not seen during training. The personalized predictions are significantly better than a baseline that uses no user information.

연구 동기 및 목표

• 사용자별 임베딩를 사용하여 언어 모델을 개인화하여 쿼리 자동완성을 향상시키는 것.
• 학습 중에 보지 못한 사용자에게도 온라인 사용자 임베딩 업데이트를 통해 효과적인 개인화를 가능하게 하는 것.
• 저랭크 행렬(저랭크 행렬)을 통한 적응적 가중치 수정 방식(FactorCell)이 RNN에서 기존의 연결 기반 적응 방식보다 우수한 성능을 보임을 입증하는 것.
• 더 많은 사용자 상호작용 데이터가 축적될수록 예측 품질과 관련성 향상이 가시화되며, 희귀하거나 미리 보지 못한 접두어에 대해서도 성능 향상이 이루어지는지 확인하는 것.
• 더 높은 품질의 의미적으로 일관된 쿼리 완성 결과를 도출하면서도 효율성과 확장성을 유지할 수 있음을 검증하는 것.

제안 방법

• 모델은 사용자 임베딩에서 유도된 저랭크 행렬을 사용해 순환층의 가중치를 덧셈적으로 변형하는 FactorCell 메커니즘을 갖춘 문자 수준의 LSTM을 사용한다.
• 사용자 임베딩는 학습 중에 학습되며, 새로운 사용자에 대해 역전파를 통해 온라인으로 업데이트되며, 기본 임베딩 $u_1$로 초기화된다.
• 적응 과정에서는 사용자 임베딩 행렬 $\mathbf{U}$를 제외한 모든 모델 가중치가 동결되어 재학습 없이도 점진적인 개인화가 가능하다.
• 모델은 각 쿼리당 한 번만 적응된 가중치 행렬 $\mathbf{W}' = \mathbf{W} + \mathbf{A}$를 계산하고, 비트리 검색 동안 재사용하여 추론 효율성을 유지한다.
• 사용자 임베딩를 사용해 순환층의 가중치를 조절함으로써 맥락 기반 언어 생성이 가능해지는 개인화가 이루어진다.
• 시스템은 실시간 추론을 지원하며, 시간 또는 기타 맥락적 요소를 조건 신호로 포함시킬 수 있도록 확장 가능하다.

실험 결과

연구 질문

• RQ1 온라인 사용자 적응을 통해 신경망 기반 언어 모델이 쿼리 자동완성에 효과적으로 개인화될 수 있는가?
• RQ2 FactorCell 기반 가중치 적응 방식이 연결 기반 적응 방식에 비해 완성 품질과 의미적 일관성 측면에서 어떻게 우월한가?
• RQ3 학습 중에 보지 못한 사용자에게 개인화가 얼마나 효과적으로 작용하는가?
• RQ4 사용자 상호작용 데이터가 증가할수록 예측 품질과 관련성 향상이 측정 가능한가?
• RQ5 모델은 낮은 계산 비용을 유지하면서도 희귀하거나 미리 보지 못한 접두어에 대해 의미적으로 일관된 완성을 생성할 수 있는가?

주요 결과

• FactorCell 모델은 기준 미적응 모델과 ConcatCell 모델에 비해 개인화된 쿼리 자동완성에서 유의미하게 뛰어난 성능을 보였으며, 특히 학습 데이터가 제한된 사용자에게서 두드러졌다.
• 미리 보지 못한 사용자에 대해서도 온라인 사용자 임베딩 업데이트를 통해 즉각적인 개인화 이점을 제공했으며, 처리된 쿼리 수가 증가할수록 성능이 향상되었다.
• FactorCell 모델은 의미적으로 더 일관된 완성을 생성했으며, 예를 들어 고등학생에게는 'high school musical'과 'funbrain.com'을 올바르게 제안한 반면, ConcatCell 모델은 철자적으로 유사하지만 의미적으로 관련 없는 결과를 내놓았다.
• 'prada handbags'와 'versace eyewear' 예시에서 FactorCell 모델은 Neiman Marcus와 Pottery Barn과 같은 정확한 유통업체를 올바르게 제안한 반면, ConcatCell 모델은 'craigslist nyc'와 'webster dictionary'처럼 관련 없는 결과를 생성했다.
• 더 풍부한 적응 프레임워크(예: FactorCell)는 데이터가 많을수록 더 큰 성과를 내며, 이는 접근 방식의 확장성과 일관성을 확인시켰다.
• 사용자 임베딩 업데이트 비용은 한 번의 순방향 전파와 유사하며, 시간이 지남에 따라 분산될 수 있어 실시간 구현에 실용적이다.