[논문 리뷰] Learning to Attend, Copy, and Generate for Session-Based Query Suggestion

Mostafa Dehghani, Sascha Rothe외 2명|arXiv (Cornell University)|2017. 08. 11.

Topic Modeling참고 문헌 29인용 수 7

한 줄 요약

이 논문은 세션 기반 쿼리 추천을 위한 새로운 시퀀스-투-시퀀스 모델을 제안하며, 세션 구조를 모델링하기 위해 쿼리 인식 주의 메커니즘과 OOV(Out-of-Vocabulary) 및 자주 유지되는 용어를 처리하기 위한 복사 기반 메커니즘을 통합한다. 이 모델은 쿼리 생성과 후보 스코링 모두에서 베이스라인 모델을 뛰어넘는 성능을 보이며, 계층적 주의 메커니즘과 소스 용어의 타겟팅된 복사로 쿼리 재구성 패턴을 개선한 것으로 입증된다.

ABSTRACT

Users try to articulate their complex information needs during search sessions by reformulating their queries. To make this process more effective, search engines provide related queries to help users in specifying the information need in their search process. In this paper, we propose a customized sequence-to-sequence model for session-based query suggestion. In our model, we employ a query-aware attention mechanism to capture the structure of the session context. is enables us to control the scope of the session from which we infer the suggested next query, which helps not only handle the noisy data but also automatically detect session boundaries. Furthermore, we observe that, based on the user query reformulation behavior, within a single session a large portion of query terms is retained from the previously submitted queries and consists of mostly infrequent or unseen terms that are usually not included in the vocabulary. We therefore empower the decoder of our model to access the source words from the session context during decoding by incorporating a copy mechanism. Moreover, we propose evaluation metrics to assess the quality of the generative models for query suggestion. We conduct an extensive set of experiments and analysis. e results suggest that our model outperforms the baselines both in terms of the generating queries and scoring candidate queries for the task of query suggestion.

연구 동기 및 목표

• 일반적인 seq2seq 모델의 한계, 특히 세션 구조를 모델링하지 못하고 희귀어나 OOV 용어를 처리하지 못하는 점을 해결하기 위해.
• 쿼리 인식 주의 메커니즘을 통해 계층적 쿼리 수준 및 단어 수준의 맥락을 포착하여 쿼리 추천을 향상시키기 위해.
• 복사 기반 메커니즘을 통합하여 쿼리 재구성 패턴—특히 용어 유지—을 개선하고, 디코더가 세션 맥락의 용어를 직접 복사할 수 있도록 하기 위해.
• 생성형 쿼리 추천 모델에 특화된 새로운 평가 지표를 제안하여 생성 품질과 후보 랭킹 성능 평가를 더 잘 가능하게 하기 위해.

제안 방법

• 모델은 세션 내 각 쿼리를 별도로 처리하는 계층적 인코더를 사용하여, 세션 수준 맥락으로 집계되기 전에 쿼리 수준 표현을 캡처한다.
• 쿼리 인식 주의 메커니즘은 쿼리 수준 및 단어 수준 표현에 대해 별도의 주의 가중치를 계산하여, 디코더가 세션 맥락의 관련 부분에만 집중할 수 있도록 한다.
• 디코더는 주의를 받은 표현을 통합하고, 새로운 단어를 생성할지 또는 입력 세션 쿼리에서 직접 단어를 복사할지 결정하기 위한 복사 기반 메커니즘을 사용한다.
• 복사 또는 생성 결정은 다중 목표 학습 프레임워크를 사용한 학습 가능한 게이트로 모델링되어 생성 및 복사의 공동 최적화를 가능하게 한다.
• 모델은 생성에 대한 교차 엔트로피 손실과 복사 결정에 대한 별도의 손실을 사용하여 엔드 투 엔드로 훈련되며, 디코딩 중에 주의 가중치가 동적으로 업데이트된다.
• 실제 검색 로그를 대상으로 자동 평가 지표(예: BLEU, ROUGE, 복사 및 생성에 특화된 신규 지표)와 인간 평가를 병행하여 평가가 수행된다.

실험 결과

연구 질문

• RQ1 쿼리 인식 주의 메커니즘이 시퀀스-투-시퀀스 모델에서 세션 구조를 모델링하는 데 기여하는가?
• RQ2 복사 기반 메커니즘을 통합함으로써 모델이 OOV 및 자주 유지되는 용어를 처리하는 데 얼마나 향상되는가?
• RQ3 제안된 평가 지표는 고품질의 생성형 쿼리 추천 결과를 기존 베이스라인 모델과 구분하는 데 얼마나 효과적인가?
• RQ4 계층적 주의 메커니즘과 복사 기반 메커니즘의 통합이 기존 베이스라인 대비 생성 품질과 후보 랭킹 성능 향상에 측정 가능한 기여를 하는가?

주요 결과

• 제안된 모델은 BLEU 및 ROUGE와 같은 표준 지표에서 강력한 베이스라인 모델을 뛰어넘는 성능을 보이며, 쿼리 생성과 후보 스코링 모두에서 뛰어난 성능을 입증한다.
• 용어 유지 처리에서 뚜렷한 향상이 이루어졌으며, 제안된 쿼리의 60퍼센트 이상이 세션 맥락에서 직접 복사된 것으로 확인되어 사용자 행동 패턴과 일치한다.
• 쿼리 인식 주의 메커니즘이 세션 범위 제어를 향상시켜 노이즈가 많거나 긴 세션에 대한 강건성을 높이고, 자동 세션 경계 검출에 기여한다.
• 복사 기반 메커니즘의 통합으로 희귀어 및 OOV 용어의 생성 확률이 유의미하게 증가하였으며, 정확한 쿼리 추천에 필수적인 요소로 작용한다.
• 제안된 평가 지표는 고품질 및 저품질 추천 결과를 효과적으로 구분하며, 표준 지표만으로는 제공할 수 없는 더 세밀한 평가가 가능하다.