[논문 리뷰] Efficient Personalized Reranking with Semi-Autoregressive Generation and Online Knowledge Distillation

Kai Cheng, Hao Wang외 5명|arXiv (Cornell University)|2026. 03. 07.

Recommender Systems and Techniques인용 수 0

한 줄 요약

PSAD는 온라인 지식 증류를 통해 고품질 생성과 저지연 추론의 균형을 맞추는 개인화된 반자동 재랭킹 프레임워크를 도입하며, 딥한 사용자-아이템 상호작용을 위한 User Profile Network를 활용한 지원.

ABSTRACT

Generative models offer a promising paradigm for the final stage reranking in multi-stage recommender systems, with the ability to capture inter-item dependencies within reranked lists. However, their practical deployment still faces two key challenges: (1) an inherent conflict between achieving high generation quality and ensuring low-latency inference, making it difficult to balance the two, and (2) insufficient interaction between user and item features in existing methods. To address these challenges, we propose a novel Personalized Semi-Autoregressive with online knowledge Distillation (PSAD) framework for reranking. In this framework, the teacher model adopts a semi-autoregressive generator to balance generation quality and efficiency, while its ranking knowledge is distilled online into a lightweight scoring network during joint training, enabling real-time and efficient inference. Furthermore, we propose a User Profile Network (UPN) that injects user intent and models interest dynamics, enabling deeper interactions between users and items. Extensive experiments conducted on three large-scale public datasets demonstrate that PSAD significantly outperforms state-of-the-art baselines in both ranking performance and inference efficiency.

연구 동기 및 목표

• 저지연을 유지하면서 아이템 간 의존성을 모델링하여 최종 단계 재랭킹의 개선을 촉진한다.
• 생성 품질과 효율 사이의 균형을 맞추기 위해 반자동 생성기를 제안한다.
• 빠른 추론을 위해 랭킹 지식을 경량 스코어링 네트워크로 전달하기 위한 온라인 지식 증류를 도입한다.
• 사용자-아이템 상호작용을 깊이 개인화하기 위한 User Profile Network를 개발한다.
• 대규모 데이터셳에서 우수한 랭킹 성능과 효율성을 입증한다.

제안 방법

• 공유 인코더가 결합된 희소형 및 밀집형 특징에 대해 자기 주의를 사용하여 사용자 이력과 후보 아이템을 처리한다.
• 반자동 생성기가 최종 목록을 크기 K의 블록으로 구성하고, 컨텍스트 향상 단계와 포인터 네트워크에 유사한 블록별 생성을 수행한다.
• 온라인 증류 프레임워크가 생성기(교사)와 함께 경량 스코어링 네트워크(학생)를 학습시켜 추론 지연을 줄이고, 증류 손실(KL 발산)과 교사의 확률 매트릭스에서의 점진적 가이던스를 사용한다.
• User Profile Network (UPN)이 개인화 게이트 및 개인화된 위치 인코딩을 통해 각 사용자에 맞게 아이템 표현과 위치 편향을 조절한다.
• 학습 목표는 생성 손실(포인트와이즈 교차 엔트로피 및 리스트와이즈 힌지 손실), 스코어러 손실 및 증류 손실을 가중치 α로 결합한다.

실험 결과

연구 질문

• RQ1 생성형 재랭킹에서 반자동 생성이 품질-지연의 균형을 개선할 수 있는가?
• RQ2 온라인 지식 증류가 생성기로부터 경량 스코어러로 랭킹 지식을 실시간으로 전달하는 방법은?
• RQ3 재랭킹에서 User Profile Network를 도입함으로써 사용자와 아이템 간의 개인화 상호작용에 미치는 영향은?
• RQ4 개인화된 위치 인코딩이 사용자 특유의 관심 역학을 포착하는 데 어떤 영향을 미치는가?

주요 결과

• PSAD-G(생성기)는 세 가지 공개 데이터셋에서 랭킹 품질 면에서 일관되게 기초 모델을 능가한다.
• PSAD-S(스코어러)는 모든 생성기 베이스라인보다 더 빠른 추론을 달성하고 경쟁력 있는 성능을 보이며, 지연 감소를 위한 온라인 증류를 입증한다.
• 온라인 증류(PSAD-S)는 오프라인 또는 완전한 자기회귀 방식에 비해 추론 비용이 크게 낮으면서 거의 최상위 성능에 도달한다.
• 개인화 게이트와 개인화 위치 인코딩을 갖춘 UPN은 사용자-아이템 정렬을 향상시키고 관심 감소 패턴을 포착하여 특히 활동이 많은 사용자에서 성능을 향상시킨다.
• 컨텍스트 향상 모듈이 있는 반자동 생성기는 원샷 생성보다 의존성 모델링과 시퀀스 일관성을 더 잘 제공한다.
• 부분 제거 실험은 전반적인 성능에 대해 반자동 생성, 컨텍스트 향상, 개인화 게이팅, 그리고 개인화 위치 인코딩의 중요성을 보여준다.