[논문 리뷰] Dionysius: A Framework for Modeling Hierarchical User Interactions in Recommender Systems

Jian Wang, Krishnaram Kenthapadi외 2명|arXiv (Cornell University)|2017. 06. 12.

Recommender Systems and Techniques참고 문헌 30인용 수 4

한 줄 요약

Dionysius는 사용자 상호작용 신호(예: 직업 조회, 지원)를 특성 공간을 확장하지 않고도 대규모 추천 시스템에 통합할 수 있는 계층적 그래픽 모델 프레임워크를 제안한다. 이는 상호작용 계층에서 잠재 사용자 표현을 학습함으로써 이루어지며, LinkedIn에서 1년 이상 운영되어 추천 품질을 향상시켰다(예: VPI 및 API로 측정됨). 이와 동시에 모델의 해석 가능성은 유지되었고, 기존의 콘텐츠 기반 인fra구조를 재사용할 수 있었다.

ABSTRACT

We address the following problem: How do we incorporate user item interaction signals as part of the relevance model in a large-scale personalized recommendation system such that, (1) the ability to interpret the model and explain recommendations is retained, and (2) the existing infrastructure designed for the (user profile) content-based model can be leveraged? We propose Dionysius, a hierarchical graphical model based framework and system for incorporating user interactions into recommender systems, with minimal change to the underlying infrastructure. We learn a hidden fields vector for each user by considering the hierarchy of interaction signals, and replace the user profile-based vector with this learned vector, thereby not expanding the feature space at all. Thus, our framework allows the use of existing recommendation infrastructure that supports content based features. We implemented and deployed this system as part of the recommendation platform at LinkedIn for more than one year. We validated the efficacy of our approach through extensive offline experiments with different model choices, as well as online A/B testing experiments. Our deployment of this system as part of the job recommendation engine resulted in significant improvement in the quality of retrieved results, thereby generating improved user experience and positive impact for millions of users.

연구 동기 및 목표

• 특성 공간을 확장하지 않고도 암묵적 사용자 상호작용 신호(예: 조회, 지원 등)를 대규모 콘텐츠 기반 추천 시스템에 통합하는 것.
• 개인화된 추천 시스템에서 모델의 해석 가능성과 설명 가능성 유지하는 것.
• 사용자 프로필 특징을 위한 기존 콘텐츠 기반 추천 인프라와의 원활한 통합을 가능하게 하는 것.
• 높은 데이터 신선도를 확보하면서도 수백만 개의 후보 항목에 대해 실시간으로 저지연 시간으로 점수를 매기는 것.
• 기존 활동이 없는 신규 사용자 포함, 다양한 상호작용 이력을 가진 사용자들에 대해 추천 품질 향상시키는 것.

제안 방법

• 프레임워크는 사용자 프로필을 사전으로 간주하고, 상호작용 신호의 강도 순서(예: 지원 > 조회 > 상호작용 없음)에 따라 이를 업데이트함으로써 잠재 사용자 표현 벡터를 학습한다.
• 상호작용 강도 계층은 고수준 신호(예: 지원)가 저수준 표현에 영향을 주며, 상호작용 데이터가 축적될수록 사전의 영향력이 점차 감소하도록 모델링된다.
• 일반화선형혼합모형(GLMM) 프레임워크를 사용해 사용자별 숨겨진 필드와 회귀계수를 동시에 학습함으로써 효율적인 훈련과 추론을 가능하게 한다.
• 학습된 숨겨진 필드는 온라인 추론 파이프라인에서 사용자 프로필 특징을 대체하여, 기존의 키-값 스토어 및 추천 인프라를 재사용할 수 있도록 한다.
• 점진적 마이그레이션 전략을 사용해 생산 환경에 구축되었으며, 새로운 랭킹 플랫폼과 함께 공존하면서 전체 전환까지 안정적으로 운영되었다.
• 오프라인 실험과 온라인 A/B 테스트를 통해 다양한 사용자 세그먼트와 상호작용 패턴에서 모델의 유효성을 검증하였다.

실험 결과

연구 질문

• RQ1 암묵적 사용자 상호작용 신호(예: 조회, 지원 등)를 특성 공간을 확장하지 않고 콘텐츠 기반 추천 시스템에 효과적으로 통합할 수 있는가?
• RQ2 사용자 상호작용의 계층적 모델링이 추천 품질 향상에 기여하면서도 모델의 해석 가능성은 유지할 수 있는가?
• RQ3 암묵적 상호작용 신호 통합 시 기존 콘텐츠 기반 추천 인프라의 재사용 가능성은 어느 정도인가?
• RQ4 상호작용 계층(예: 지원 > 조회 > 동작 없음)이 사용자 표현 학습과 추천 성능에 미치는 영향는 어떠한가?
• RQ5 기존 활동이 없는 사용자 포함 다양한 사용자 세그먼트에서 이 프레임워크는 어떻게 성능을 발휘하는가?

주요 결과

• Dionysius 프레임워크는 온라인 A/B 테스트에서 인상당 조회 수(VPI)가 12.5% 증가하고, 인상당 지원 수(API)가 15% 증가함으로써 직업 추천 품질이 크게 향상되었다.
• 모든 상호작용 모델(조회 없음, 지원 없음 사용자 포함)이 상호작용 신호 없이 훈련된 베이스라인 모델보다 우수한 성능을 보였으며, 이는 다양한 사용자 유형에서 모델의 강건성을 입증했다.
• 시스템은 LinkedIn에서 약 18개월 동안 생산 환경에 성공적으로 구축되어 수백만 명의 사용자에게 다양한 직업 추천 시나리오에서 서비스를 제공했다.
• 기존 인프라에서 새로운 랭킹 플랫폼으로의 이관이 원활하고 점진적으로 이루어졌으며, 서비스 품질에 어떠한 영향도 주지 않았다.
• 상호작용 계층에서 학습할 수 있는 능력 덕분에, 상호작용 이력이 제한적이거나 전혀 없는 사용자에게도 효과적인 표현 학습이 가능했다.
• 프로필 특징을 학습된 잠재 벡터로 대체함으로써 복잡한 블랙박스 표현 방식을 피함으로써 모델의 해석 가능성은 유지되었다.