[논문 리뷰] PEPNet: Parameter and Embedding Personalized Network for Infusing with Personalized Prior Information

Jianxin Chang, Chenbin Zhang외 5명|arXiv (Cornell University)|2023. 02. 02.

Recommender Systems and Techniques인용 수 4

한 줄 요약

PEPNet는 게이트 메커니즘을 사용하여 임bedding 특징과 딥 네ural 네트워크 파라미터를 동적으로 개인화하는 플러그 앤 플레이 신경망으로, 다중 도메인 및 다중 작업 추천을 향상시킵니다. 쿠아이쉬iou의 프로덕션 시스템에서 일일 3억 명 이상의 사용자를 대상으로 하며, 여러 지표에서 1퍼센트 이상의 온라인 성능 향상을 달성했습니다.

ABSTRACT

With the increase of content pages and interactive buttons in online services such as online-shopping and video-watching websites, industrial-scale recommender systems face challenges in multi-domain and multi-task recommendations. The core of multi-task and multi-domain recommendation is to accurately capture user interests in multiple scenarios given multiple user behaviors. In this paper, we propose a plug-and-play extit{ extbf{P}arameter and extbf{E}mbedding extbf{P}ersonalized extbf{Net}work ( extbf{PEPNet})} for multi-domain and multi-task recommendation. PEPNet takes personalized prior information as input and dynamically scales the bottom-level Embedding and top-level DNN hidden units through gate mechanisms. extit{Embedding Personalized Network (EPNet)} performs personalized selection on Embedding to fuse features with different importance for different users in multiple domains. extit{Parameter Personalized Network (PPNet)} executes personalized modification on DNN parameters to balance targets with different sparsity for different users in multiple tasks. We have made a series of special engineering optimizations combining the Kuaishou training framework and the online deployment environment. By infusing personalized selection of Embedding and personalized modification of DNN parameters, PEPNet tailored to the interests of each individual obtains significant performance gains, with online improvements exceeding 1\% in multiple task metrics across multiple domains. We have deployed PEPNet in Kuaishou apps, serving over 300 million users every day.

연구 동기 및 목표

• 데이터 희소성과 도메인/작업 분포 이동이 동시에 발생하는 산업용 추천 시스템에서의 완벽하지 않은 이중 시소 문제를 해결합니다.
• 모델 효율성이나 배포 비용을 희생시키지 않고도 여러 도메인과 여러 작업 간의 효과적인 공동 학습을 가능하게 합니다.
• 임베딩 및 파라미터 공간에 개인화된 사전 정보를 통합하는 플러그 앤 플레이 아키텍처를 도입합니다.
• 기존의 다중 도메인 및 다중 작업 학습 방법이 의미의 이질성과 타겟 희소성을 동시에 다루지 못하는 한계를 극복합니다.
• 쿠아이쉬iou의 훈련 및 추론 파이프라인과 통합하여 실세계 배포에 최적화하고, 대규모에서 저지연 추론을 보장합니다.

제안 방법

• 학습 가능한 게이트 메커니즘을 사용하는 이중 브랜치 아키텍처인 임베딩 개인화 네트워크(EPNet)와 파라미터 개인화 네트워크(PPNet)를 제안합니다.
• EPNet는 사용자별 게이트를 적용하여 사용자에 따라 관련성이 다른 임베딩 특징을 동적으로 스케일링함으로써 개인화된 특징 융합을 가능하게 합니다.
• PPNet는 작업 및 사용자별 게이트를 사용하여 DNN 히든 유닛 활성화를 조절함으로써 사용자 및 작업에 따라 모델 파라미터를 적응시켜 희소성을 균형 잡습니다.
• 사용자 행동 이력과 같은 개인화된 사전 정보를 게이트 네트워크의 입력으로 통합하여 사용자별 동적 적응을 가능하게 합니다.
• 기존 추천 모델과 호환되는 모듈러하고 플러그 앤 플레이 구조를 설계하여 재훈련 및 배포 오버헤드를 최소화합니다.
• 쿠아이쉬iou 프레임워크 내에서의 효율적 훈련 및 온라인 추론을 위해 양자화 인식 훈련과 모델 파artitioning 등의 엔지니어링 최적화를 적용합니다.

실험 결과

연구 질문

• RQ1 다양한 도메인에서 특징의 이질적 의미와 중요도를 다루면서도 작업별 희소성을 동시에 처리하는 데 효과적인 방법은 무엇인가요?
• RQ2 개인화된 게이트 메커니즘이 모델 복잡도를 증가시키지 않으면서도 다중 도메인 및 다중 작업 추천 성능을 향상시킬 수 있을까요?
• RQ3 임베딩 및 파라미터 공간에 개인화된 사전 정보를 통합할 경우 모델 일반화 능력과 온라인 지표에 어떤 영향을 미칠까요?
• RQ4 대규모 산업용 추천 시스템에서 동적 파라미터 및 임베딩 개인화가 이중 시소 현상에 어떤 영향을 미칠까요?
• RQ5 플러그 앤 플레이 아키텍처는 실세계 배포에서 낮은 추론 지연을 유지하면서도 상당한 성능 향상을 달성할 수 있을까요?

주요 결과

• 쿠아이쉬iou의 다중 도메인, 다중 작업 추천 시스템에서 PEPNet은 CTR, 참여도 등 여러 핵심 지표에서 1퍼센트 이상의 온라인 성능 향상을 달성했습니다.
• 모델은 개인화된 특징 선택 및 도메인 및 작업 간의 파라미터 적응을 통해 이중 시소 효과를 크게 감소시켰습니다.
• EPNet를 통한 임베딩 개인화는 사용자 기반 관련성에 따라 임베딩을 가중하는 방식으로 특징 융합을 향상시켜 표현 품질을 향상시켰습니다.
• PPNet를 통한 파라미터 개인화는 사용자 및 작업에 따라 DNN 가중치를 적응시킴으로써 희소 및 고밀도 예측 타겟 간 균형을 효과적으로 유지했습니다.
• 플러그 앤 플레이 설계 덕분에 쿠아이쉬iou의 기존 훈련 및 서빙 파이프라인에 원활하게 통합되었으며, 최소한의 엔지니어링 오버헤드를 기록했습니다.
• 오프라인 및 온라인 평가에서 짧은 비디오 탐색 및 전자상거래 유사 상호작용을 포함한 다양한 추천 시나리오에서 일관된 성능 향상이 확인되었습니다.