[논문 리뷰] Revisit Recommender System in the Permutation Prospective

Yufei Feng, Yu Gong외 3명|arXiv (Cornell University)|2021. 02. 24.

Recommender Systems and Techniques참고 문헌 34인용 수 7

한 줄 요약

이 논문은 추천 시스템 내 순열 변동 영향을 다루기 위해 목표 지향적 비트 서치(FPSA)를 통해 다수의 후보 항목 목록을 생성하고, 전용 DPWN 모델에서 유도된 통합 순열 기반 평가 지표(LR)를 사용해 이를 순위 매기는, 새로운 이단계 순열 기반 재정렬 프레임워크인 PRS를 제안한다. 타오바오에서의 온라인 구현에서 PRS는 PV 기준 11.0% 향상과 IPV 기준 8.7% 향상을 달성한다.

ABSTRACT

Recommender systems (RS) work effective at alleviating information overload and matching user interests in various web-scale applications. Most RS retrieve the user's favorite candidates and then rank them by the rating scores in the greedy manner. In the permutation prospective, however, current RS come to reveal the following two limitations: 1) They neglect addressing the permutation-variant influence within the recommended results; 2) Permutation consideration extends the latent solution space exponentially, and current RS lack the ability to evaluate the permutations. Both drive RS away from the permutation-optimal recommended results and better user experience. To approximate the permutation-optimal recommended results effectively and efficiently, we propose a novel permutation-wise framework PRS in the re-ranking stage of RS, which consists of Permutation-Matching (PMatch) and Permutation-Ranking (PRank) stages successively. Specifically, the PMatch stage is designed to obtain the candidate list set, where we propose the FPSA algorithm to generate multiple candidate lists via the permutation-wise and goal-oriented beam search algorithm. Afterwards, for the candidate list set, the PRank stage provides a unified permutation-wise ranking criterion named LR metric, which is calculated by the rating scores of elaborately designed permutation-wise model DPWN. Finally, the list with the highest LR score is recommended to the user. Empirical results show that PRS consistently and significantly outperforms state-of-the-art methods. Moreover, PRS has achieved a performance improvement of 11.0% on PV metric and 8.7% on IPV metric after the successful deployment in one popular recommendation scenario of Taobao application.

연구 동기 및 목표

• 기존 추천 시스템이 추천 항목 목록 내 순열 변동 영향을 다루는 데에 한계가 있다는 문제를 해결하기 위해.
• 순열 기반 추천에서 해의 공간이 기하급수적으로 증가하는 문제를 해결하기 위해 고품질 순열을 효율적으로 탐색할 수 있도록 하기 위해.
• 후보 순열들 중 최적의 항목 목록을 선택하기 위한 통합 순열 기반 평가 기준을 도입하기 위해.
• 단순히 항목의 관련성뿐만 아니라 사용자 행동 패턴과 더 잘 부합하는 순서를 추천함으로써 사용자 경험을 향상시키기 위해.

제안 방법

• 순열 매칭(PMatch) 및 순열 순위 매기기(PRank) 단계로 구성된 이단계 프레임워크인 PRS를 제안한다.
• PMatch 단계에서 다양한 후보 항목 목록을 생성하기 위해 순열 기반 및 목표 지향적 비트 서치 알고리즘인 FPSA를 도입한다.
• 다양한 순열에서의 상호작용 확률을 예측하기 위해 순열 인식 점수를 가능하게 하는 DPWN 모델을 설계한다.
• DPWN 출력에서 유도된 통합 순열 기반 순위 매기기 기준인 LR 지표를 사용해 후보 목록을 순위 매긴다.
• FPSA의 입력으로 CTR 및 NEXT 점수의 가중 조합을 사용하며, 초모수 α와 β는 격자 탐색을 통해 최적화된다.
• 기존 매칭, 순위 매기기 및 재정렬 파이프라인에 FPSA와 LR 지표를 통합하여 최소한의 지연 시간으로 프로덕션에 구현한다.

실험 결과

연구 질문

• RQ1 어떻게 추천 시스템은 기하급수적으로 큰 순열 공간을 효과적으로 탐색하여 최적의 순서를 찾을 수 있는가?
• RQ2 순열 변동 영향이 사용자 상호작용 행동에 미치는 영향은 무엇이며, 이를 모델링하여 추천 품질을 향상시킬 수 있는가?
• RQ3 통합 순열 기반 순위 매기기 기준은 실제 구현에서 그레디, 포인트 기반 재정렬보다 우월한가?
• RQ4 제안된 PRS 프레임워크는 오프라인 메트릭과 온라인 A/B 테스트 모두에서 어떤 성능을 보이는가?

주요 결과

• 타오바오의 미니디테일 시나리오에서 온라인 A/B 테스트에서 PRS는 PV 메트릭 기준 11.0% 상승과 IPV 메트릭 기준 8.7% 상승을 달성한다.
• FPSA 알고리즘만으로도 PV 기준 11.0% 상승과 IPV 기준 2.6% 상승을 기록하며, 평균 추론 비용은 1.2밀리초이다.
• DPWN 모델에서 유도된 LR 지표는 IPV 기준 추가로 6.1% 상승을 기여하며, 평균 비용은 6.2밀리초이다.
• 전체 PRS 프레임워크는 온라인 추론 지연 시간이 단 7.3밀리초에 불과하여 실시간 구현이 가능하다.
• 격자 탐색 결과, α = 7이 브라우징과 상호작용 유도 간 최적의 균형을 이룹니다. 이는 LR 지표를 최대화한다.
• 산업계 및 벤치마크 데이터셋에서 최신 포인트 기반 및 리스트 기반 방법들을 모두 능가하는 성능을 보였다.