[논문 리뷰] Learning Optimal Card Ranking from Query Reformulation

Liangjie Hong, Yue Shi외 1명|arXiv (Cornell University)|2016. 06. 22.

Web Data Mining and Analysis참고 문헌 31인용 수 3

한 줄 요약

이 논문은 모바일 검색에서 쿼리-카드 쌍의 유의미한 관련성 레이블을 생성하기 위해 사용자 쿼리 재구성(reformulation)을 암묵적 피드백으로 활용하는 러닝-투-레이블(Learning-to-Label, LtL) 프레임워크를 제안한다. 카드가 쿼리 재구성 행동에 기여하는 방식을 모델링함으로써, 이 방법은 인간 레이블링 결과와 클릭 기반 신호를 모두 능가하며, 학습-투-레이블(LtL) 전략이 쿼리에 특화된 카드 관련성 가중치를 탐지함으로써 최고의 성능을 달성한다.

ABSTRACT

Mobile search has recently been shown to be the major contributor to the growing search market. The key difference between mobile search and desktop search is that information presentation is limited to the screen space of the mobile device. Thus, major search engines have adopted a new type of search result presentation, known as extit{information cards}, in which each card presents summarized results from one domain/vertical, for a given query, to augment the standard blue-links search results. While it has been widely acknowledged that information cards are particularly suited to mobile user experience, it is also challenging to optimize such result sets. Typically, user engagement metrics like query reformulation are based on whole ranked list of cards for each query and most traditional learning to rank algorithms require per-item relevance labels. In this paper, we investigate the possibility of interpreting query reformulation into effective relevance labels for query-card pairs. We inherit the concept of conventional learning-to-rank, and propose pointwise, pairwise and listwise interpretations for query reformulation. In addition, we propose a learning-to-label strategy that learns the contribution of each card, with respect to a query, where such contributions can be used as labels for training card ranking models. We utilize a state-of-the-art ranking model and demonstrate the effectiveness of proposed mechanisms on a large-scale mobile data from a major search engine, showing that models trained from labels derived from user engagement can significantly outperform ones trained from human judgment labels.

연구 동기 및 목표

• 모바일 검색에서 전통적인 클릭 기반 또는 인간 레이블링 레이블이 낮은 클릭 수를 보이는 카드와 시간에 따라 변하는 관련성으로 인해 부족한 점을 해결하기 위해 쿼리-카드 관련성 레이블링 문제를 다루는 것.
• 연속적으로 유사한 쿼리를 입력하는 쿼리 재구성 행동이 사용자 만족도와 카드 관련성에 대한 신뢰할 수 있는 대체 지표가 될 수 있는지 탐색하는 것.
• 사용자 수준의 재구성 행동을 개별 카드의 관련성 점수로 매핑하는 확장 가능하고 원칙적인 레이블링 전략을 개발하여 카드 순위 모델을 훈련시키는 것.
• 재구성 데이터에서 유도된 레이블을 기반으로 훈련된 모델이 인간의 판단이나 클릭률(CTR) 기반 레이블을 기반으로 훈련된 모델보다 유의미하게 뛰어난 성능을 보임을 입증하는 것.

제안 방법

• 세 가지 레이블 해석 전략을 제안한다: 점별(점별 레이블링, DPL, MPL), 쌍별(APL), 리스트별(LL)로, 각 전략은 재구성 이벤트를 개별 카드의 관련성 점수로 매핑한다.
• 러닝-투-레이블(LtL) 방법을 도입하여, 각 카드가 쿼리 재구성에 기여하는 정도를 추정하는 모델을 훈련시키며, 회귀 가중치를 레이블로 사용한다.
• 재구성 데이터에서 유도된 레이블을 인간의 판단이나 CTR가 아닌 기반으로 사용하여, 최첨단 순위 모델을 평가함으로써 레이블 품질을 평가한다.
• 임계값 기반 유사도 메트릭을 적용하여 연속적인 쿼리를 재구성 이벤트로 식별하고, 이를 바탕으로 긍정/부정 레이블 할당을 수행한다.
• 클릭 및 시각 신호를 조합하여 총 가치 점수를 산출하는 기능적 레이블 정의(식 4)를 활용하여 카드의 참여도 기반 순위를 매긴다.
• 하류 순위 성능을 통해 레이블 품질을 검증하며, 대규모 모바일 검색 데이터셋에서 LtL를 점별, 쌍별, 리스트별 기반선과 비교한다.

실험 결과

연구 질문

• RQ1 클릭 신호가 부족하거나 신뢰할 수 없을 경우, 특히 쿼리 재구성이 관련성의 효과적인 대체 지표로 활용될 수 있는가?
• RQ2 쿼리 수준에서 관측된 재구성 이벤트를 어떻게 의미 있게 개별 카드의 관련성 점수로 매핑할 수 있는가?
• RQ3 재구성에 기여하는 카드의 기여도를 모델링하는 러닝-투-레이블 전략이 인간의 판단이나 CTR와 같은 전통적 레이블링 방법보다 우수한가?
• RQ4 재구성 데이터 기반으로 훈련된 경우, 점별, 쌍별, 리스트별 전략 중 각 전략의 상대적 성능는 어떠한가?
• RQ5 재구성에서 파생된 레이블을 기반으로 훈련된 카드 순위 모델이 CTR나 인간 레이블링 기반 모델보다 뛰어난 성능을 달성할 수 있는가?

주요 결과

• 러닝-투-레이블(LtL) 전략은 모든 메트릭에서 최고의 성능을 기록하며, 인간 판단 기반 레이블과 CTR 기반 레이블을 모두 능가한다.
• LtL는 재구성에 기여하는 카드의 기여도를 학습함으로써 높은 분류 능력을 갖춘 레이블을 생성하여, 높은 TPR과 낮은 TNR를 달성한다.
• 점별 방법인 DPL은 긍정 및 부정 예제 간 순서를 유지함으로써 우수한 F-메이저를 기록하며 양호한 성능을 보인다.
• 쌍별 방법인 APL은 양호한 쌍과 열악한 쌍 간의 균형 잡힌 트레이드오프를 유지하면서 낮은 계산 복잡도를 유지하며 두 번째로 높은 성능을 기록한다.
• NPL과 MPL은 각각 레이블 간섭과 단일 카드 이동에 대한 과도한 페널티로 인해 성능이 열등하며, 순서 구조를 유지하는 것이 중요함을 시사한다.
• LtL의 회귀 가중치는 해석 가능한 통찰을 제공한다. 예를 들어, 'Barack Obama'에 대해 NewsCard와 WebCard는 높은 관련성을 가지며, 'Apple'에 대해서는 NavigationCard가 지배적이다. 이는 모델의 기능적 해석 가능성에 대한 검증이다.