[논문 리뷰] Exploration in two-stage recommender systems

Jiri Hron, Karl Krauth외 2명|arXiv (Cornell University)|2020. 09. 01.

Advanced Bandit Algorithms Research참고 문헌 7인용 수 4

한 줄 요약

이 논문은 두 단계 추천 시스템에서 LinUCB를 단순히 배포할 경우, 추천자와 랭커 간의 특성 임베딩 및 데이터 정규화의 불일치로 인해 선형적 회귀(regret)가 발생함을 밝혀냈다. 이에 따라 기존 LinUCB 계산을 활용하여 후행 통계(평균 및 공분산)를 단계 간에 동기화하는 단순한 동기화 방법을 제안하여, 회귀를 감소시키고 단일 단계 LinUCB에 근접한 최적 성능을 달성한다.

ABSTRACT

Two-stage recommender systems are widely adopted in industry due to their scalability and maintainability. These systems produce recommendations in two steps: (i) multiple nominators preselect a small number of items from a large pool using cheap-to-compute item embeddings; (ii) with a richer set of features, a ranker rearranges the nominated items and serves them to the user. A key challenge of this setup is that optimal performance of each stage in isolation does not imply optimal global performance. In response to this issue, Ma et al. (2020) proposed a nominator training objective importance weighted by the ranker's probability of recommending each item. In this work, we focus on the complementary issue of exploration. Modeled as a contextual bandit problem, we find LinUCB (a near optimal exploration strategy for single-stage systems) may lead to linear regret when deployed in two-stage recommenders. We therefore propose a method of synchronising the exploration strategies between the ranker and the nominators. Our algorithm only relies on quantities already computed by standard LinUCB at each stage and can be implemented in three lines of additional code. We end by demonstrating the effectiveness of our algorithm experimentally.

연구 동기 및 목표

• 표준 LinUCB 탐색 전략이 이중 단계 추천 시스템에서 실패하는 이유를 조사하는 것.
• 특히 추천자와 랭커 간의 특성 매핑 불일치와 데이터 정규화의 차이로 인한 성능 저하의 근본 원인을 규명하는 것.
• 단계 간 추론된 통계를 동기화하여 근접 최적의 탐색을 복원하는 최소 복잡도의 솔루션을 제안하는 것.
• 모의 환경에서 동기화가 선형적 회귀를 완화하고 회귀 성능을 향상시킴을 실증적으로 검증하는 것.
• LinUCB를 넘어서 '불확실성에 대한 낙관주의(optimism in the face of uncertainty)' 알고리즘으로의 통찰을 확장하여, 단계 간 통계 일관성의 역할을 부각하는 것.

제안 방법

• 이 방법은 랭커의 불확실성 추정치를 사용하여 추천자의 후행 분포를 업데이트하는 동기화 단계를 도입하며, 특히 역 공분산 행렬과 평균을 일치시킨다.
• 과도한 산란(overdispersion)을 방지하기 위해 KL 발산 기반 업데이트를 사용하여 추천자의 불확실성이 랭커의 것을 초과하지 않도록 보장한다.
• 단지 LinUCB 선택 및 업데이트 단계에서 이미 계산된 양상을 활용하므로, 추가로 필요한 코드는 단지 세 줄 뿐이다.
• 두 가지 변형을 탐색: 표준 업데이트 이후 동기화(후행 동기화)와 이전 동기화(전행 동기화)이며, 실험에서 두 방식 모두 유사한 성능을 보였다.
• 핵심 식(식 7)은 각 추천 이후 추천자의 후행 분포가 그 항목에 대해 랭커의 것과 정확히 일치하도록 보장하여, 불확실성 추정치의 발산을 방지한다.
• 이 방법은 특정 LinUCB 구현에 종속되지 않으며, 베이지안 선형 밴디트를 사용하는 모든 이중 단계 시스템에 적용 가능하도록 설계되었다.

실험 결과

연구 질문

• RQ1 왜 단순한 이중 단계 LinUCB 배포가 이중 단계 추천 시스템에서 선형적 회귀를 보이는가?
• RQ2 추천자와 랭커 간의 특성 표현 방식과 학습 데이터 볼륨의 불일치가 탐색 성능에 어떤 영향을 미치는가?
• RQ3 단계 간 후행 통계를 동기화하면 이중 단계 LinUCB에서 근접 최적의 회귀 성능을 복원할 수 있는가?
• RQ4 이러한 동기화의 계산 오버헤드는 얼마이며, 최소한의 코드 확장으로 구현 가능한가?
• RQ5 이 동기화 방법은 '불확실성에 대한 낙관주의' 탐색 알고리즘으로 일반화 가능한가?

주요 결과

• 단순한 이중 단계 LinUCB 배포는 추천자와 랭커 간의 불확실성 추정치의 발산으로 인해 선형적 회귀를 초래한다.
• 회귀의 주요 원인은 추천자와 랭커 간의 특성 임베딩 불일치와 정규화 수준의 차이(즉, 학습 데이터 양의 차이)이다.
• 특히 평균과 공분산을 포함한 후행 통계의 동기화가 추천자와 랭커 간에 효과적으로 이루어지면, 회귀 격차가 완전히 제거된다.
• 제안된 알고리즘은 단일 단계 LinUCB와 유사한 회귀 성능을 달성하며, 이는 근접 최적임이 알려져 있다.
• 실험에서 전행 동기화와 후행 동기화 변형 모두 거의 동일한 성능을 보이며, 계산 오버헤드가 극히 미미하다.
• 이 방법은 랭커 사전학습 수준(γ)의 변화에 대해 강건하며, γ가 클수록 동기화 시스템의 성능이 향상된다.