[논문 리뷰] Modeling Attractiveness and Multiple Clicks in Sponsored Search Results

Dinesh Govindaraj, Tao Wang외 1명|arXiv (Cornell University)|2014. 01. 01.

Information Retrieval and Search Behavior참고 문헌 18인용 수 9

한 줄 요약

이 논문은 광고 검색에서 역클릭(reverse clicks)을 고려하고, 결과 간 공유되는 단어 수준 특징을 통해 매력도와 클릭 후 관련성(post-click relevance)을 공동으로 모델링하는 새로운 클릭 모델을 제안한다. 외부성, 사용자 피로도, 일회성 추론 알고리즘을 통합함으로써, 클릭 시퀀스와 상위 클릭 위치를 예측하는 데 기존 방법들보다 뚜렷이 뛰어난 성능을 발휘한다.

ABSTRACT

Click models are an important tool for leveraging user feedback, and are used by commercial search engines for surfacing relevant search results. However, existing click models are lacking in two aspects. First, they do not share information across search results when computing attractiveness. Second, they assume that users interact with the search results sequentially. Based on our analysis of the click logs of a commercial search engine, we observe that the sequential scan assumption does not always hold, especially for sponsored search results. To overcome the above two limitations, we propose a new click model. Our key insight is that sharing information across search results helps in identifying important words or key-phrases which can then be used to accurately compute attractiveness of a search result. Furthermore, we argue that the click probability of a position as well as its attractiveness changes during a user session and depends on the user's past click experience. Our model seamlessly incorporates the effect of externalities (quality of other search results displayed in response to a user query), user fatigue, as well as pre and post-click relevance of a sponsored search result. We propose an efficient one-pass inference scheme and empirically evaluate the performance of our model via extensive experiments using the click logs of a large commercial search engine.

연구 동기 및 목표

• 순차적 사용자 상호작용을 가정하고 결과 간 정보 공유가 부족한 기존 클릭 모델의 한계를 보완하기 위해.
• 역클릭(예: 1위보다 3위를 먼저 클릭하는 것)이 흔한 광고 검색 환경에서 사용자 행동을 모델링하기 위해.
• 결과 간 공유되는 핵심어(키-프레이즈)를 활용해 매력도(클릭 전 관련성)와 클릭 후 관련성을 공동으로 추정함으로써 클릭 예측 정확도를 향상시키기 위해.
• 대규모 클릭 로그에서 일회성 학습이 가능한 효율적이고 확장 가능한 추론 기반 설계를 위해.
• 광고 검색 클릭 동역학에서 사용자 피로도와 외부성(예: 다른 결과의 품질)을 더 정확하게 표현하기 위해.

제안 방법

• 클릭 확률이 점검 확률과 매력도의 곱으로 표현되는 분리 가능한 클릭 모델을 제안하며, 매력도는 결과 간 공유되는 핵심어로부터 유도된다.
• 순서에 관계없이 위치 i에서 클릭한 후 위치 j로 전이될 가능성을 기록하는 전이 확률 행렬 γij를 사용해 역클릭을 명시적으로 모델링한다.
• 사용자 피로도와 세션 수준의 역학을 ηj(클릭 j회 이후 계속할 확률)와 βj(클릭 수가 j를 초과하는 세션 수)를 통해 모델링한다.
• 클릭 후 관련성을 ρd(문서 d를 클릭한 후 세션이 종료되는 비율)와 κ′d(세션이 d에서 종료되는 수)를 사용해 추정한다.
• 모든 파라미터에 대해 공액 사전분포(Beta 및 Dirichlet)를 사용하여 일회성 학습에서 효율적이고 닫힌 형태의 베이지안 추론이 가능하도록 한다.
• 결과 간 공유되는 단어 수준 특징(예: 강조된 검색어)을 활용해 매력도를 추정함으로써 일반화 능력과 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 광고 검색 세션에서 사용자가 높은 순위 결과보다 낮은 순위 결과를 먼저 클릭하는 역클릭이 얼마나 자주 발생하는가?
• RQ2 광고 결과 간 공유되는 단어 수준 특징이 매력도 추정과 클릭 예측 정확도 향상에 기여하는가?
• RQ3 사용자 피로도와 외부성(예: 다른 결과의 품질)이 광고 검색 클릭 행동에 어떤 영향을 미치는가?
• RQ4 일회성 추론 알고리즘이 대규모 상용 클릭 로그에 효과적으로 스케일업되면서도 높은 예측 정확도를 유지할 수 있는가?
• RQ5 클릭 전 매력도와 클릭 후 관련성을 동시에 모델링하면 기존 모델보다 상위 클릭 위치 예측 성능이 향상되는가?

주요 결과

• 약 10%의 광고 검색 세션에서 두 번 이상의 클릭이 발생하며, 이 중 30%에서는 적어도 한 쌍의 클릭이 역순서로 이루어져 있어 순차적 스캔 가정이 성립하지 않는다.
• 두 번의 클릭이 있는 세션에서 첫 번째 상위 클릭 위치를 예측하는 데 55.74%의 정확도를 기록했으며, 이는 DBN(51.12%), PM(45.66%), AM(49.50%), ICM(16.09%)를 뛰어넘는 성능이다.
• 세 번의 클릭이 있는 세션에서는 상위 클릭 위치 예측 정확도가 61.51%에 달했으며, 이는 DBN(58.20%), AM(59.14%), PM(44.74%), ICM(44.75%)를 초월한다.
• 핵심어 특징을 통한 결과 간 정보 공유 덕분에, 특히 클릭 수가 적은 상황에서 매력도 추정이 더 안정적이고 정확해진다.
• 일회성 추론 알고리즘 덕분에 대규모 클릭 로그에서 효율적인 학습이 가능했으며, 모든 파라미터가 공액 사전분포를 통해 효율적으로 추정되었다.
• 모델은 모든 i,j 쌍에 대해 전이 확률 γij를 명시적으로 모델링함으로써 노이즈에 강건하고, 역클릭 시퀀스의 예측 성능이 향상된다.