[논문 리뷰] On component interactions in two-stage recommender systems

Jiri Hron, Karl Krauth외 2명|arXiv (Cornell University)|2021. 06. 28.

Advanced Bandit Algorithms Research참고 문헌 92인용 수 11

한 줄 요약

이 논문은 이단계 추천 시스템에서 구성 요소 간 상호작용이 성능에 결정적인 영향을 미친다는 것을 입증하며, 일반적으로 독립적으로 노미네이터와 랭커를 훈련하는 관행에 도전한다. 가용 가능한 아이템 풀에 대한 학습 가능한 할당을 갖는 Mixture-of-Experts로 노미네이터를 모델링함으로써, 이 접근법은 독립 훈련 및 무작위 기준 대비 정밀도와 재현율을 크게 향상시킨다.

ABSTRACT

Thanks to their scalability, two-stage recommenders are used by many of today's largest online platforms, including YouTube, LinkedIn, and Pinterest. These systems produce recommendations in two steps: (i) multiple nominators, tuned for low prediction latency, preselect a small subset of candidates from the whole item pool; (ii) a slower but more accurate ranker further narrows down the nominated items, and serves to the user. Despite their popularity, the literature on two-stage recommenders is relatively scarce, and the algorithms are often treated as mere sums of their parts. Such treatment presupposes that the two-stage performance is explained by the behavior of the individual components in isolation. This is not the case: using synthetic and real-world data, we demonstrate that interactions between the ranker and the nominators substantially affect the overall performance. Motivated by these findings, we derive a generalization lower bound which shows that independent nominator training can lead to performance on par with uniformly random recommendations. We find that careful design of item pools, each assigned to a different nominator, alleviates these issues. As manual search for a good pool allocation is difficult, we propose to learn one instead using a Mixture-of-Experts based approach. This significantly improves both precision and recall at K.

연구 동기 및 목표

• 노미네이터와 랭커 간의 상호작용이 고립된 구성 요소의 행동을 넘어서 이단계 추천 시스템의 성능에 미치는 영향을 조사하는 것.
• 노미네이터를 표준적으로 독립적으로 훈련할 경우, 무작위 추천 수준 이하의 성능에 머물 수 있는 한계를 규명하는 것.
• 각각 아이템 풀의 부분집합에 전문화된 노미네이터가 전체 시스템 성능 향상에 기여할 수 있는지 탐색하는 것.
• 학습 가능한 아이템 풀 할당을 학습하기 위해 Mixture-of-Experts(MoE) 아키텍처를 사용하는 공동 훈련 프레임워크를 개발하고 평가하는 것.
• 이단계 시스템을 모듈러 구성 요소가 아닌 통합된 시스템으로 간주할 것에 대한 이론적 및 실증적 근거를 제공하는 것.

제안 방법

• 저자들은 특정 조건 하에서 독립적인 노미네이터 훈련이 무작위 추천과 동일한 성능을 낼 수 있음을 보여주는 일반화 하한을 유도한다.
• 각 노미네이터가 학습된 아이템 풀의 부분집합에 대해 전문가 역할을 하며, 사용자 맥락에 따라 어느 노미네이터를 사용할지 결정하는 게이팅 네트워크를 갖는 Mixture-of-Experts(MoE) 프레임워크를 제안한다.
• MoE 모델은 노미네이터와 게이팅 메커니즘을 함께 훈련함으로써 수동 설계 없이 최적의 아이템 풀 분할을 학습할 수 있도록 한다.
• 정밀도와 재현율을 최적화하기 위해 정규화를 통한 과적합 방지를 고려한, 미분 가능한 훈련 목표를 사용한다.
• 합성 및 실세계 데이터셋을 대상으로 평가하여, MoE 기반 훈련을 독립 훈련 및 균일한 풀 할당과 비교한다.
• 이론적 분석에는 랭커가 누적 회귀를 줄일 수 있는 능력이 노미네이터가 생성한 후보 집합의 질과 다양성에 의존한다는 회귀 분해가 포함된다.

실험 결과

연구 질문

• RQ1 노미네이터와 랭커 간의 상호작용이 이단계 추천 시스템의 전체 성능에 어떤 영향을 미치는가?
• RQ2 노미네이터를 독립적으로 훈련하면 성능이 무작위 추천 수준 이하로 떨어질 수 있으며, 만약 그렇다면 어떤 조건에서 그러한 현상이 발생하는가?
• RQ3 아이템 풀의 상호배타적 부분집합에 전문화된 노미네이터가 정밀도와 재현율을 K에서 측정했을 때 명백한 향상을 가져올 수 있는가?
• RQ4 Mixture-of-Experts 아키텍처가 수동 설계된 또는 균일한 분할보다 효과적인 아이템 풀 할당을 학습할 수 있는가?
• RQ5 MoE 기반 공동 훈련 전략은 기준 훈련 방법 대비 누적 회귀를 얼마나 줄일 수 있는가?

주요 결과

• 독립적인 노미네이터 훈련은 이론적 일반화 하한을 통해 무작위 추천과 구분되지 않는 성능을 낼 수 있음을 보여준다.
• 학습 가능한 아이템 풀 할당을 갖는 Mixture-of-Experts 접근법은 다양한 데이터셋과 설정에서 정밀도와 재현율을 크게 향상시킨다.
• 각 노미네이터가 서로 다른 부분집합에 전문화되어 후보 집합의 다양성이 증가할 경우 성능 향상이 가장 두드러진다.
• 훈련 세트가 작을 경우(예: 각 암에 100개의 샘플), 또는 임베딩 차원이 높을 경우 MoE 모델이 성능을 떨어뜨릴 수 있지만, 하이퍼파rameter 튜닝과 정규화로 이러한 문제를 완화할 수 있다.
• MoE 프레임워크의 게이팅 메커니즘은 고정된 풀 할당을 복구할 수 있으며, 이는 모델 성능 저하가 아키텍처의 제약이 아니라 최적화 또는 과적합 때문임을 시사한다.
• 실증 결과는 공동 MoE 훈련이 독립 훈련 및 균일한 할당을 항상 초월하며, 각 노미네이터의 모델링 능력이 제한된 환경에서 특히 두드러진 성능 향상을 보인다.