[논문 리뷰] Counterfactual Estimation and Optimization of Click Metrics for Search Engines

Lihong Li, Shunbao Chen외 2명|arXiv (Cornell University)|2014. 03. 07.

Advanced Bandit Algorithms Research참고 문헌 38인용 수 18

한 줄 요약

이 논문은 검색 엔진에서 클릭 기반 메트릭의 편향 없는 오프라인 평가 및 최적화를 가능하게 하기 위해 문맥적 밴디트를 사용한 원인 인과 추론 접근법을 제안한다. 이는 비용이 많이 드는 A/B 테스트가 필요 없도록 한다. 이전 검색 로그와 반사적 추정을 활용함으로써, 온라인 클릭 성능을 정확하게 예측하고 효율적인 정책 최적화를 가능하게 하며, 실제 검색 환경에서 강력한 성능을 보여준다.

ABSTRACT

Optimizing an interactive system against a predefined online metric is particularly challenging, when the metric is computed from user feedback such as clicks and payments. The key challenge is the counterfactual nature: in the case of Web search, any change to a component of the search engine may result in a different search result page for the same query, but we normally cannot infer reliably from search log how users would react to the new result page. Consequently, it appears impossible to accurately estimate online metrics that depend on user feedback, unless the new engine is run to serve users and compared with a baseline in an A/B test. This approach, while valid and successful, is unfortunately expensive and time-consuming. In this paper, we propose to address this problem using causal inference techniques, under the contextual-bandit framework. This approach effectively allows one to run (potentially infinitely) many A/B tests offline from search log, making it possible to estimate and optimize online metrics quickly and inexpensively. Focusing on an important component in a commercial search engine, we show how these ideas can be instantiated and applied, and obtain very promising results that suggest the wide applicability of these techniques.

연구 동기 및 목표

• 검색 엔진에서 사용자 피드백의 반사적 성격으로 인해 온라인 클릭 메트릭을 오프라인으로 추정하는 데 도전하는 것.
• 실시간 A/B 테스트를 실행하지 않고도 검색 엔진 정책의 편향 없는 평가를 가능하게 하는 방법을 개발하는 것.
• 실제 검색 로그 데이터를 활용한 오프라인 정책 최적화의 실현 가능성과 효능을 입증하는 것.
• 실시간 실험에 소요되는 시간과 비용을 줄이기 위해 실시간 A/B 테스트를 확장 가능한 오프라인 시뮬레이션으로 대체하는 것.
• 생산 규모의 상용 검색 엔진 환경에서 이 방법을 검증하는 것.

제안 방법

• 사용자 상호작용을 불확실성 하에서의 순차적 결정으로 모델링함으로써, 문맥적 밴디트 프레임워크 내에서 검색 랭킹 최적화 문제를 수립한다.
• 다른 정책의 예상 클릭 성능을 이전에 기록된 상호작용만을 사용해 추론하기 위해 반사적 추정 기법을 적용한다.
• 선택 편향을 보정하기 위해 역확률 가중치와 성향 스코어링을 사용함으로써, 편향 없는 정책 가치 추정을 가능하게 한다.
• 이전 로그에서 학습된 사용자 클릭 모델을 활용해, 다른 정책 하에서 클릭 확률을 예측한다.
• 추정된 정책 가치를 오프라인 최적화 루프에 통합하여, 여러 랭킹 정책 간의 빠른 비교를 가능하게 한다.
• 실제 상용 검색 엔진의 검색 로그를 사용해 방법을 검증하고, 추정된 메트릭을 실제 A/B 테스트 결과와 비교한다.

실험 결과

연구 질문

• RQ1 이전에 기록된 데이터만을 사용해도 검색 엔진 정책의 온라인 클릭 성능을 정확하게 추정할 수 있는가?
• RQ2 반사적 추정 기법이 실제 A/B 테스트 결과와 일치하는 신뢰할 수 있는 오프라인 평가를 제공할 수 있는가?
• RQ3 추정된 클릭 메트릭을 기반으로 한 오프라인 정책 최적화가 실무에서 NDCG와 같은 대체 메트릭을 능가할 수 있는가?
• RQ4 이러한 방법이 실제 상용 검색 엔진 환경에서 어떻게 확장되고 성능을 발휘하는가?
• RQ5 이 방법을 통해 검색 엔진 개발에서 실시간 A/B 테스트의 필요성을 얼마나 줄일 수 있는가?

주요 결과

• 제안된 반사적 추정 방법은 실제 A/B 테스트 결과와 매우 유사한 정확도로 온라인 클릭 메트릭의 오프라인 추정을 성공적으로 수행했다.
• 이 방법은 실검색 로그에서 쿼리 철자 오류를 성공적으로 식별하고 수정했으며, 클릭률과 사용자 만족도 측면에서 베이스라인을 능가했다.
• 한 사례에서는 새로운 정책이 'umcka and zinc'을 'umecka'로 잘못 인식하는 것을 방지해, 더 나은 SERP 관련성과 사용자 클릭을 이끌어냈다.
• 다른 사례에서는 'catalina left attorney'를 'catalina leff attorney'로 수정했으며, 이는 베이스라인이 이를 인식하지 못한 바이다.
• 오프라인 최적화 과정을 통해 실시간 사용자 배포 없이도 빠르고 비용 효율적인 정책 변형 평가가 가능했다.
• 결과적으로 반사적 추정이 생산 검색 시스템에서 실시간 A/B 테스트의 신뢰할 수 있는 대체 수 Mittel이 될 수 있음을 입증했다.