[논문 리뷰] Sequential Evaluation and Generation Framework for Combinatorial Recommender System

Fan Wang, Xiaomin Fang외 6명|arXiv (Cornell University)|2019. 02. 01.

Recommender Systems and Techniques참고 문헌 42인용 수 8

한 줄 요약

이 논문은 조합적 추천 시스템을 위한 새로운 평가-생성 프레임워크를 제안하며, 전체 유틸리티(예: 총 클릭 수)를 예측하는 신경망 평가자와 히우리스틱 검색 또는 강화 학습을 통해 고품질의 시퀀스를 생성하는 생성자 모델을 동시에 훈련시켜 항목 순서를 공동 최적화한다. 이 프레임워크는 강력한 베이스라인 대비 2.44%의 상대적 성능 향상을 기록하며 온라인 성능을 최고 수준으로 달성하였으며, 실제 A/B 테스트 결과와 매우 높은 상관관계(r = 0.9680)를 보이는 고도로 상관된 평가자(Evaluator)를 통해 내재된 목록 간 상관관계를 효과적으로 모델링하고 안정적인 오프라인 평가를 가능하게 한다.

ABSTRACT

In the combinatorial recommender systems, multiple items are fed to the user at one time in the result page, where the correlations among the items have impact on the user behavior. In this work, we model the combinatorial recommendation as the problem of generating a sequence(ordered list) of items from a candidate set, with the target of maximizing the expected overall utility(e.g. total clicks) of the sequence. Toward solving this problem, we propose the Evaluation-Generation framework. On the one hand of this framework, an evaluation model is trained to evaluate the expected overall utility, by fully considering the user, item information and the correlations among the co-exposed items. On the other hand, generation policies based on heuristic searching or reinforcement learning are devised to generate potential high-quality sequences, from which the evaluation model select one to expose. We propose effective model architectures and learning metrics under this framework. We also offer series of offline tests to thoroughly investigate the performance of the proposed framework, as supplements to the online experiments. Our results show obvious increase in performance compared with the previous solutions.

연구 동기 및 목표

• 기존의 다각도 순서 매기기 방법이 정해진 수동 상관관계 가정에 의존하고 신뢰할 수 있는 평가 기준이 부족한 점을 해결하기 위해.
• 추천 시퀀스 내 공노출된 항목 간의 복잡하고 비균일한 관계를 포착하여 목록 내 상관관계를 보다 효과적으로 모델링하기 위해.
• 온라인 성능을 신뢰성 있게 예측할 수 있는 실용적인 오프라인 평가 프레임워크를 개발하여 높은 비용이 드는 A/B 테스트에 대한 의존도를 줄이기 위해.
• 지속적인 단계적 항목 선택에 의존하는 점진적 최적화가 아니라, 전체 순서 목록의 전체 유틸리티를 최적화하기 위해.
• 수백만 명의 사용자를 보유한 대규모 시스템에서 조합적 추천을 스케일러블하게 실시간으로 구현할 수 있도록 하기 위해.

제안 방법

• 프레임워크는 두 가지 구성 요소로 이루어져 있다: 깊은 신경망을 사용하여 사용자, 항목, 상호 항목 간 상관관계 특징을 통합하여 시퀀스의 예상 전체 유틸리티를 예측하는 평가자(Evaluator) 모델.
• 생성자(generator)는 히우리스틱 검색(예: 근사적 샘플링) 또는 강화 학습(예: Q-학습)과 같은 순서 디코딩 정책을 사용하여 후보 항목 집합에서 후보 시퀀스를 생성한다.
• 평가자는 여러 개의 생성된 시퀀스를 평가하고 가장 높은 예측 유틸리티를 가진 시퀀스를 노출 대상으로 선택함으로써 생성과 평가 간 피드백 루프를 구현한다.
• 평가자에 대해 이중 순환 신경망(Bi-GRNN) 아키텍처를 사용하였으며, 실제 온라인 A/B 테스트 결과와 0.9680의 높은 상관관계를 달성하여 그 예측 능력을 검증하였다.
• 오프라인 평가는 점진적 검증을 통해 수행되며, 먼저 평가자의 예측 정확도를 평가하고, 그 다음 생성자의 성능을 시뮬레이션된 및 실제 피드백을 사용하여 평가한다.
• 프레임워크는 실시간 피드백이 아닌, 평가자로부터 유도된 합성 피드백과 실제 클릭 데이터를 사용하여 오프-정책 강화 학습 환경에서 훈련 및 검증되며, 이는 강건성과 일반화 능력을 보장한다.

실험 결과

연구 질문

• RQ1 신경망 평가자가 조합적 추천 시퀀스의 온라인 성능을 정확하게 예측할 수 있는가? 이는 높은 비용이 드는 A/B 테스트에 대한 의존도를 줄일 수 있는가?
• RQ2 학습된 유틸리티 평가자에 의해 안내받는 경우, 강화 학습 및 히우리스틱 검색 방법이 얼마나 효과적으로 고유틸리티 항목 시퀀스를 생성할 수 있는가?
• RQ3 제안된 프레임워크가 단순한 다양성 또는 서브모듈라 가정을 넘어서 복잡한 목록 내 상관관계를 얼마나 잘 포착하는가?
• RQ4 실제 운영 환경에서 이 프레임워크는 다양성 최적화를 명시적으로 고려하지 않더라도 전체 유틸리티와 카테고리 커버리지 측면에서 향상되는가?
• RQ5 특히 강화 학습 기반 설정에서, 노이즈가 많거나 동적인 온라인 환경에 노출되었을 때 생성자 정책의 강건성은 어느 정도인가?

주요 결과

• Bi-GRNN 평가자는 400회의 실험 전반에서 실제 온라인 A/B 테스트 결과와 상관계수 0.9680을 기록하며, MLP(0.2282)를 크게 능가하여 시뮬레이션 대체 수단으로서의 신뢰성을 입증하였다.
• GRNN 기반 생성자와 Bi-GRNN 선택기로 구성된 평가자-생성자 프레임워크는 GRNN 단독 베이스라인 대비 온라인 성능에서 2.44%의 상대적 향상을 달성하였다.
• 강화 학습 방법(SetToSeq + RL)은 평가자-생성자 프레임워크와 유사한 성능을 보였지만, 노이즈가 많은 온라인 정책으로 인해 때로는 불안정성이 나타났다.
• 프레임워크는 GRNN 베이스라인 대비 카테고리 커버리지 0.62% 향상을 기록하여, 명시적 다양성 정규화 없이도 다각도 향상을 달성했다는 것을 시사한다.
• 평가자의 높은 예측 정확도 덕분에 효과적인 오프라인 검증이 가능해졌으며, 이는 결과 예측에 대한 높은 신뢰도를 유지하면서도 광범위한 온라인 A/B 테스트의 필요성을 줄였다.
• 이 프레임워크는 수백만 명의 일일 활성 사용자를 보유한 생산 환경에서 성공적으로 도입되어 스케일러블성과 실제 운영 환경에서의 효과성을 입증하였다.