[논문 리뷰] An end-to-end Generative Retrieval Method for Sponsored Search Engine --Decoding Efficiently into a Closed Target Domain

Yijiang Lian, Zhijie Chen외 12명|arXiv (Cornell University)|2019. 02. 02.

Web Data Mining and Analysis참고 문헌 26인용 수 10

한 줄 요약

이 논문은 신경 기계 번역을 사용하여 쿼리에서 직접 관련 关련 키워드를 생성함으로써 기존의 쿼리 리라이팅 및 관련성 순위 매기기 과정을 생략하는 엔드 투 엔드 생성 검색 방법(EGRM)을 제안한다. 자기 정규화 학습과 트라이 기반 동적 프루닝을 통합함으로써 추론 시간을 20배 이상 단축하면서도 높은 관련성을 유지하여, 온라인 A/B 테스트에서 CPM 13.8% 향상과 CTR 15.4% 향상을 달성한다.

ABSTRACT

In this paper, we present a generative retrieval method for sponsored search engine, which uses neural machine translation (NMT) to generate keywords directly from query. This method is completely end-to-end, which skips query rewriting and relevance judging phases in traditional retrieval systems. Different from standard machine translation, the target space in the retrieval setting is a constrained closed set, where only committed keywords should be generated. We present a Trie-based pruning technique in beam search to address this problem. The biggest challenge in deploying this method into a real industrial environment is the latency impact of running the decoder. Self-normalized training coupled with Trie-based dynamic pruning dramatically reduces the inference time, yielding a speedup of more than 20 times. We also devise an mixed online-offline serving architecture to reduce the latency and CPU consumption. To encourage the NMT to generate new keywords uncovered by the existing system, training data is carefully selected. This model has been successfully applied in Baidu's commercial search engine as a supplementary retrieval branch, which has brought a remarkable revenue improvement of more than 10 percents.

연구 동기 및 목표

• 상용 검색 엔진에서 사용자 쿼리와 스폰서드 키워드 사이의 의미적 격차를 해소한다.
• 쿼리 리라이팅 및 관련성 점수 평가를 포함한 다단계 검색 파이프라인에서 발생하는 오류 누적 문제를 제거한다.
• 유효한 키워드의 닫힌 도메인 내에서 효율적이고 실시간으로 키워드 생성을 가능하게 한다.
• 기존 시스템이 포착하지 못한 새로운 관련 키워드를 생성함으로써 검색 품질과 수익을 향상시킨다.
• 자기 정규화와 혼합 온라인-오프라인 서빙을 활용해 산업적 구현을 위한 추론 속도를 최적화한다.

제안 방법

• 쿼리에서 키워드로 매핑하기 위해 잔차 RNN 인코더와 디코더를 갖춘 시퀀스 투 시퀀스 NMT 아키텍처를 채택한다.
• 빔 서치 중에 트라이 기반 프루닝 메커니즘을 도입하여, 사전에 승인된 유효한 키워드만으로 출력를 제한한다.
• 추론 시 전체 정규화가 필요로 하는 것을 줄이기 위해 디코딩의 안정성과 속도를 향상시키기 위해 자기 정규화 학습을 적용한다.
• 정점 트래픽 시 컴퓨팅 자원을 외부로 이관하고 CPU 소비를 줄이기 위해 온라인-오프라인 서빙 아키텍처를 구현한다.
• 쿼리의 맥락에 따라 도메인별 프리픽스 트리를 기반으로 쿼리를 라우팅하기 위해 트레이드 분류기 사용으로 더 빠르고 타겟된 디코딩을 가능하게 한다.
• 희귀하거나 이전에 검색되지 않은 키워드에 중점을 두어 훈련 데이터를 정제함으로써 새로운 쿼리-키워드 쌍 탐색을 장려한다.

실험 결과

연구 질문

• RQ1 기존의 다단계 검색 파이프라인을 대체할 수 있는 엔드 투 엔드 생성 모델이 관련성 손실 없이 스폰서드 검색에서 기능할 수 있는가?
• RQ2 속도나 품질에 손상이 가지 않도록 유효한 키워드의 닫힌 집합으로 디코딩을 효율적으로 제약할 수 있는가?
• RQ3 자기 정규화 학습과 트라이 기반 프루닝이 실시간 스폰서드 검색 시스템에서 추론 지연 시간을 얼마나 줄일 수 있는가?
• RQ4 기존 검색 시스템이 다루지 못하는 고품질의 새로운 키워드를 생성할 수 있으며, 이를 통해 측정 가능한 수익 증가를 이끌 수 있는가?
• RQ5 혼합 온라인-오프라인 서빙 전략은 시스템 효율성과 자원 활용도에 어떤 영향을 미치는가?

주요 결과

• 자기 정규화 학습과 트라이 기반 동적 프루닝을 통해 EGRM 시스템은 추론 시간을 20배로 단축하여, 빔 크기가 100일 때 평균 추론 시간을 1125ms에서 32.15ms로 감소시켰다.
• 트라이 프루닝을 적용한 결과 생성된 키워드 중 80%가 유효했으며, 프루닝을 제거한 경우 빔 크기가 300일 때 유효성 비율이 단 8%에 그쳐 제약 있는 디코딩의 필요성을 입증했다.
• 관련성 평가 결과, 기준 시스템 대비 나쁜 품질의 쌍은 20.7% 감소하고 좋은 품질의 쌍은 6.6% 증가했다.
• 온라인 A/B 테스트 결과 CPM이 13.8% 향상되고 CTR가 15.4% 향상되어 의미 있는 수익 및 참여도 향상을 확인했다.
• 모델은 기존에 존재하지 않았던 새로운 키워드를 성공적으로 생성하여 바이두의 상용 검색 엔진에서 측정 가능한 10% 이상의 수익 증가 기여했다.
• 혼합 온라인-오프라인 서빙 아키텍처는 저지연 응답을 유지하면서도 CPU 소비를 효과적으로 줄였다.