[논문 리뷰] A Hierarchical Recurrent Encoder-Decoder For Generative Context-Aware Query Suggestion

Alessandro Sordoni, Yoshua Bengio외 4명|arXiv (Cornell University)|2015. 07. 08.

Topic Modeling참고 문헌 36인용 수 4

한 줄 요약

이 논문은 가변 길이 쿼리 시퀀스를 처리하고 희귀하거나 장기 꼬리 쿼리에 대해 합성 제안을 생성할 수 있는 생성적, 맥락 인식 쿼리 제안을 위한 계층적 순환 인코더-디코더 모델을 제안한다. 단어 수준의 임베딩과 시퀀스 모델링을 활용하여, 엔드 투 엔드 훈련과 효율적 디코딩을 통해 기존의 맥락 인식 방법보다 다음 쿼리 예측 성능을 뛰어나게 하고, 높은 품질의 다양성 있는 제안을 생성한다.

ABSTRACT

Users may strive to formulate an adequate textual query for their information need. Search engines assist the users by presenting query suggestions. To preserve the original search intent, suggestions should be context-aware and account for the previous queries issued by the user. Achieving context awareness is challenging due to data sparsity. We present a probabilistic suggestion model that is able to account for sequences of previous queries of arbitrary lengths. Our novel hierarchical recurrent encoder-decoder architecture allows the model to be sensitive to the order of queries in the context while avoiding data sparsity. Additionally, our model can suggest for rare, or long-tail, queries. The produced suggestions are synthetic and are sampled one word at a time, using computationally cheap decoding techniques. This is in contrast to current synthetic suggestion models relying upon machine learning pipelines and hand-engineered feature sets. Results show that it outperforms existing context-aware approaches in a next query prediction setting. In addition to query suggestion, our model is general enough to be used in a variety of other applications.

연구 동기 및 목표

• 희귀하거나 장기 꼬리 쿼리에 대해 데이터 희소성 문제를 해결한다.
• 훈련 데이터에 존재하지 않는 합성 쿼리 제안을 생성함으로써 공통 발생 기반 방법을 초월한 커버리지 향상을 가능하게 한다.
• 사용자 쿼리 세션을 순차적 맥락으로 모델링하여 재구성 패턴을 유지하고 제안의 관련성을 향상시킨다.
• 가변 길이 쿼리 이력에 대해 강건하고 과거 쿼리의 순서에 민감한 신경망 아키텍처를 개발한다.
• 표준 디코딩 기법을 사용하여 효율적이고 확장 가능한 추론을 달성하면서도 높은 품질의 맥락 기반 제안을 유지한다.

제안 방법

• 쿼리 수준 및 단어 수준의 RNN을 포함한 두 수준의 계층적 순환 인코더-디코더 아키텍처를 사용하여 쿼리 시퀀스를 모델링한다.
• 단어 임베딩과 쿼리 임베딩을 사용하여 의미 관계를 포착함으로써 임베딩 공간에서 유사한 용어와 쿼리가 군집화되도록 한다.
• 관측된 쿼리 세션의 가능도를 최대화하여 엔드 투 엔드로 훈련함으로써 맥락 표현과 생성의 공동 최적화를 허용한다.
• 자기회귀적 디코딩을 통해 이전 쿼리의 전체 이력을 조건으로 삼아 한 단어씩 제안을 생성한다.
• 맥락 내 단어 간 공유 통계적 가중치를 활용하여 데이터 희소성을 완화하고, 쿼리 시퀀스를 분산 표현으로 간주한다.
• 완료를 알리는 특수한 종료 쿼리 토큰을 도입하여 생성된 단어 시퀀스로부터 최종 제안을 구성한다.

실험 결과

연구 질문

• RQ1 가변 길이 쿼리 세션으로부터 장기 맥락을 효과적으로 포착할 수 있는 신경 시퀀스 모델은 다음 쿼리 예측 성능을 향상시킬 수 있는가?
• RQ2 훈련 데이터의 공통 발생에 의존하지 않고도 생성 모델이 희귀하거나 미리보지 않은 쿼리에 대해 고품질의 합성 제안을 얼마나 잘 생성할 수 있는가?
• RQ3 기존의 수세기 기반 또는 특징 엔지니어링 모델과 비교할 때 계층적 RNN 아키텍처는 장기 꼬리 쿼리의 커버리지와 관련성 측면에서 어떤가?
• RQ4 모델은 사용자 행동의 일반화 또는 특정화 패턴을 반영하는 다양한 맥락에 적절한 재구성 제안을 생성할 수 있는가?
• RQ5 차별 가능한 엔드 투 엔드 훈련을 통해 제안을 생성하는 모델의 능력이 검색 성능 향상에 측정 가능한 영향을 미치는가?

주요 결과

• 의미 역수 평균 순위(MRR)로 측정된 다음 쿼리 예측 성능에서 제안된 모델은 기존의 맥락 인식 모델을 능가하며, 순위 품질 향상을 입증한다.
• 사용자 연구에서 기준 모델 대비 모델이 생성한 합성 제안이 더 높은 관련성과 유용성으로 평가되어, 더 나은 인식된 관련성과 유용성을 나타낸다.
• 계층적 RNN 아키텍처는 가변 길이 맥락에서도 장거리 의존성과 쿼리 세션 내 재구성 패턴을 효과적으로 모델링한다.
• 학습된 임베딩에서 의미적으로 유사한 쿼리와 용어가 벡터 공간에서 가까이 위치하는 군집화 행동을 보인다.
• 맥락을 통계적 가중치를 공유하는 단어의 시퀀스로 모델링함으로써 데이터 희소성을 감소시키고 희귀 쿼리로의 일반화 성능을 높인다.
• 모델은 탄력적이고 확장 가능하여 자동 완성, 언어 모델링, 다음 단어 예측 등의 다른 NLP 작업에 쉽게 적용할 수 있다.