[논문 리뷰] Efficient and Effective Tail Latency Minimization in Multi-Stage Retrieval Systems

Joel Mackenzie, J. Shane Culpepper외 4명|arXiv (Cornell University)|2017. 04. 13.

Information Retrieval and Search Behavior참고 문헌 58인용 수 12

한 줄 요약

이 논문은 일관되고 질의에 민감한 예측 프레임워크를 제안하며, 초기 단계 검색 파라미터—예를 들어 후보 집합 크기 및 인덱스 순회 전략—를 동적으로 최적화하여 尾(꼬리) 지연(latency)를 최소화하면서도 효과성을 유지한다. 정적 사전 검색 특성과 기준 목록을 활용한 분위수 회귀를 통해, 31,000개의 질의에서 ClueWeb09B에서 200ms 이내로 99.99% 응답 시간 보장을 달성하면서 효과성 손실를 최소화하였다. 이는 고정 전략보다 지연과 효율성 측면에서 모두 뛰어난 성능을 발휘한다.

ABSTRACT

Scalable web search systems typically employ multi-stage retrieval architectures, where an initial stage generates a set of candidate documents that are then pruned and re-ranked. Since subsequent stages typically exploit a multitude of features of varying costs using machine-learned models, reducing the number of documents that are considered at each stage improves latency. In this work, we propose and validate a unified framework that can be used to predict a wide range of performance-sensitive parameters which minimize effectiveness loss, while simultaneously minimizing query latency, across all stages of a multi-stage search architecture. Furthermore, our framework can be easily applied in large-scale IR systems, can be trained without explicitly requiring relevance judgments, and can target a variety of different efficiency-effectiveness trade-offs, making it well suited to a wide range of search scenarios. Our results show that we can reliably predict a number of different parameters on a per-query basis, while simultaneously detecting and minimizing the likelihood of tail-latency queries that exceed a pre-specified performance budget. As a proof of concept, we use the prediction framework to help alleviate the problem of tail-latency queries in early stage retrieval. On the standard ClueWeb09B collection and 31k queries, we show that our new hybrid system can reliably achieve a maximum query time of 200 ms with a 99.99% response time guarantee without a significant loss in overall effectiveness. The solutions presented are practical, and can easily be used in large-scale distributed search engine deployments with a small amount of additional overhead.

연구 동기 및 목표

• 전체 평균 지연은 낮지만 사용자 경험을 떨어뜨리는 다단계 검색 시스템에서의 꼬리 지연(latency) 질의 문제를 해결한다.
• 효과성 인식 가능한 효율성 모델을 훈련하기 위한 관련성 평가 데이터 부족 문제를 해결하기 위해 기준 목록과 정적 사전 검색 특성을 활용한다.
• 효율성과 효과성의 균형을 맞추기 위해 질의별로 검색 파라미터를 최적화할 수 있는 실용적이고 확장 가능한 솔루션을 개발한다.
• 응답 시간에 대한 최악의 경우 성능 보장을 제공하면서도, 후속 단계로 전달되는 후보 문서 수를 최소화한다.
• 최소한의 추가 계산 부하로 대규모 검색 엔진에 쉽게 구현할 수 있도록 한다.

제안 방법

• 질의 난이도 예측과 정적 사전 검색 특성을 기반으로 한 통합 예측 프레임워크를 활용하여, 응답 시간, 후보 집합 크기, 알고리즘의 공격성과 같은 성능 민감도 파라미터를 추정한다.
• 분위수 회귀(특히 기울기 부스팅 회귀 트리)를 사용하여 질의 응답 시간의 99.99번째 백분위수를 예측함으로써 최악의 경우 지연 보장을 가능하게 한다.
• DaaT 대비 SaaT와 같은 인덱스 순회 전략에 대한 예측을 하이브리드 방식으로 통합하여, 예측된 성능에 기반해 각 질의에 최적의 알고리즘을 선택한다.
• 이전 실행에서 생성된 기준 목록을 활용하여 명시적인 관련성 평가 없이도 효과성 인식 가능한 모델을 훈련시켜 스케일링 가능한 훈련을 가능하게 한다.
• MED-RBP를 대체 지표로 사용하여 효율성 예측과 효과성 손실 최소화를 결합함으로써, 질의별로 균형 잡힌 트레이드오프를 달성한다.
• 예측된 질의 난이도와 성능 목표에 기반해 고정-k 전략(예: Jass, Bmw)과 적응형 예측 간을 선택하는 하이브리드 시스템을 적용한다.

실험 결과

연구 질문

• RQ1 어떻게 기준 목록을 활용하여 초기 단계 검색에서 정확한 질의별 동적 파라미터 예측을 수행할 수 있는가?
• RQ2 꼬리 지연(latency)과 인덱스 순회 알고리즘 간의 관계는 무엇이며, 예측 프레임워크가 제1단계 효율성에 대해 신뢰할 수 있는 최악의 경우 성능 보장을 제공할 수 있는가?
• RQ3 어떤 예측 조합이 첫 번째 단계 검색을 효율적으로 만들 수 있으며, 최종 단계 재순서에서 후보 집합 크기와 효과성 손실를 최소화할 수 있는가?

주요 결과

• 하이브리드 시스템은 ClueWeb09B에서 31,000개의 질의에 대해 200ms 이내로 99.99% 응답 시간 보장을 달성하였으며, 임계값을 초과한 질의는 단 2개뿐이었다(232.4ms 및 294.1ms).
• 하이브리드 시스템은 최고의 고정 전략 대비 평균 후보 문서 수를 368건 감소시켜 종합적인 효율성을 향상시켰다.
• 같은 효과성 목표 하에서 하이브리드 시스템의 평균 및 중앙값 응답 시간은 최고의 고정 시스템(Jass 5m)보다 각각 20ms와 8.9ms 빠르게 기록되었다.
• 보류된 TREC 2009 Web Track 질의에서의 효과성 측정 결과(NDCG@10, ERR@10, RBP p=0.80)는 하이브리드 시스템과 이상적인(uog-ideal) 런 간에 유의미한 차이가 없었으며, 유의수준 p < 0.05에서 통계적으로 유의미하지 않았다.
• 예측 오버헤드는 질의당 0.75ms 미만으로 추정되어, 프레임워크의 런타임 비용이 극히 낮음을 시사한다.
• 특히 200ms 응답 시간 예산이 엄격한 상황에서 하이브리드 접근 방식은 꼬리 지연 감소와 후보 집합 크기 최소화 측면에서 고정 전략을 모두 뛰어넘었다.