[논문 리뷰] GRN: Generative Rerank Network for Context-wise Recommendation

Yufei Feng, Binbin Hu외 4명|arXiv (Cornell University)|2021. 04. 02.

Recommender Systems and Techniques참고 문헌 32인용 수 4

한 줄 요약

GRN은 최종 랭킹 목록 내의 문맥적 상호작용을 이중 단계 접근 방식을 통해 모델링하는 생성형 재정렬 프레임워크를 제안한다: 평가자(양방향 LSTM 및 자기주의 주의)는 아이템 간 상호작용 확률을 예측하고, 생성자(GRU 및 포인터 네트워크)는 정책 강화를 통해 문맥 기반 재정렬을 학습한다. 이 방법은 타오바오에서 실전 배포 시 PV와 IPV에서 각각 5.2% 및 6.1% 향상됨.

ABSTRACT

Reranking is attracting incremental attention in the recommender systems, which rearranges the input ranking list into the final rank-ing list to better meet user demands. Most existing methods greedily rerank candidates through the rating scores from point-wise or list-wise models. Despite effectiveness, neglecting the mutual influence between each item and its contexts in the final ranking list often makes the greedy strategy based reranking methods sub-optimal. In this work, we propose a new context-wise reranking framework named Generative Rerank Network (GRN). Specifically, we first design the evaluator, which applies Bi-LSTM and self-attention mechanism to model the contextual information in the labeled final ranking list and predict the interaction probability of each item more precisely. Afterwards, we elaborate on the generator, equipped with GRU, attention mechanism and pointer network to select the item from the input ranking list step by step. Finally, we apply cross-entropy loss to train the evaluator and, subsequently, policy gradient to optimize the generator under the guidance of the evaluator. Empirical results show that GRN consistently and significantly outperforms state-of-the-art point-wise and list-wise methods. Moreover, GRN has achieved a performance improvement of 5.2% on PV and 6.1% on IPV metric after the successful deployment in one popular recommendation scenario of Taobao application.

연구 동기 및 목표

• 최종 랭킹 목록 내의 문맥적 종속성을 忽시하는 탐욕적 재정렬 방법의 열악한 성능을 해결하기 위해.
• 더 정확한 상호작용 확률 예측을 위해 최종 랭킹 목록 내 아이템 간 상호 영향력을 모델링하기 위해.
• 사용자 참여도를 최적화하기 위해 순차적이고 관계 기반의 아이템 문맥을 고려한 문맥 기반 재정렬 전략을 학습하기 위해.
• 타오바오의 홈화면과 같은 저지연, 실시간 추천 시스템에 효과적으로 배포 가능한 문맥 기반 재정렬을 가능하게 하기 위해.

제안 방법

• 평가자는 최종 랭킹 목록 내의 순차적 의존성을 양방향 LSTM으로 캡처하고, 상호 아이템 상호작용을 모델링하기 위해 자기주의 주의를 사용하여 정밀한 상호작용 확률 예측을 수행한다.
• 생성자는 GRU와 주의 메커니즘을 활용하여 입력 목록에서 단계적으로 아이템을 선택하고, 포인터 네트워크를 통해 입력 목록의 순열을 생성한다.
• 평가자에 대한 교차 엔트로피 손실을 평가자 학습에 사용하고, 정책 강화를 통해 평가자가 예측한 보상을 기반으로 생성자를 최적화한다.
• 이 프레임워크는 이중 단계로 학습된다: 먼저 평가자가 레이블이 부여된 최종 목록에서 학습되고, 이후 생성자가 평가자가 예측한 보상 기반 정책 강화를 통해 미세조정된다.
• 생성자는 훈련된 평가자로부터 문맥 지식을 흡수함으로써 문맥적으로 최적의 랭킹을 생성하는 데 학습된다.
• 직접 엣지에서의 추론과 사전 트리거 메커니즘을 통해 생산 환경에서의 지연을 줄여 효율적인 엣지 배포를 달성한다.

실험 결과

연구 질문

• RQ1 최종 목록 내의 상호 아이템 영향력을 모델링함으로써 문맥 기반 재정렬 전략이 탐욕적 재정렬을 능가할 수 있는가?
• RQ2 정책 강화를 통해 학습된 생성자가 점별 또는 목록 기반 모델보다 더 나은 최종 랭킹을 얼마나 효과적으로 생성할 수 있는가?
• RQ3 실제 산업 환경에서 문맥 상호작용 확률을 통합할 경우 추천 성능 향상에 어느 정도 기여하는가?
• RQ4 제안된 프레임워크는 타오바오의 홈화면과 같은 저지연 생산 환경에 효율적으로 배포될 수 있는가?

주요 결과

• GRN은 벤치마크 및 산업 데이터셋 양쪽에서 최신의 점별 및 목록 기반 재정렬 방법을 일관되게 능가한다.
• 산업용 Rec 데이터셋에서 GRN은 구현된 기준선 PRM 대비 PV에서 5.2% 향상되고, IPV에서 6.1% 향상된다.
• 타오바오의 '당신이 좋아할 만한 추천' 시나리오에서의 온라인 A/B 테스트는 GRN의 우수성을 확인하였으며, 사용자 참여 지표에서 유의미한 향상이 있었음.
• 생성자의 문맥 기반 전략은 더 다양하고 매력적인 추천을 이끌어내어 반복적인 카테고리로 인한 사용자 피로를 줄였다.
• 평균 온라인 추론 지연은 32밀리초였으며, 엣지 배포와 요청 스케줄링 덕분에 30ms가 절감됨.
• 제거 실험 결과, GRN G (전체 문맥 모델링 포함)는 GRN G (-DR)를 능가함을 입증하여 포괄적인 문맥 통합의 중요성을 확인함.