[논문 리뷰] OFF-Set: One-pass Factorization of Feature Sets for Online Recommendation in Persistent Cold Start Settings

Michal Aharon, Natalie Aizenberg외 7명|arXiv (Cornell University)|2013. 08. 08.

Recommender Systems and Techniques인용 수 6

한 줄 요약

OFF-Set는 실시간 추천 시스템에서 지속적인 냉각기 문제를 해결하기 위해 잠재 공간에서 사용자 특징과 그들의 상호작용을 모델링하는 단일 패ass 온라인 행렬 분해 알고리즘입니다. 실제 광고 타겟팅 데이터에서 최신 기준 모델인 Factorization Machines와 GBDT보다 뛰어난 성능을 보이며, 캠프이건 A에서는 MRR 0.5993, 캠프이건 B에서는 MRR 0.6234를 기록했고, 무작위 및 인기 기반 모델 대비 통계적으로 유의미한 향상을 보였습니다.

ABSTRACT

One of the most challenging recommendation tasks is recommending to a new, previously unseen user. This is known as the 'user cold start' problem. Assuming certain features or attributes of users are known, one approach for handling new users is to initially model them based on their features. Motivated by an ad targeting application, this paper describes an extreme online recommendation setting where the cold start problem is perpetual. Every user is encountered by the system just once, receives a recommendation, and either consumes or ignores it, registering a binary reward. We introduce One-pass Factorization of Feature Sets, OFF-Set, a novel recommendation algorithm based on Latent Factor analysis, which models users by mapping their features to a latent space. Furthermore, OFF-Set is able to model non-linear interactions between pairs of features. OFF-Set is designed for purely online recommendation, performing lightweight updates of its model per each recommendation-reward observation. We evaluate OFF-Set against several state of the art baselines, and demonstrate its superiority on real ad-targeting data.

연구 동기 및 목표

• 사용자가 한 번만 나타나는 온라인 추천 시스템에서 지속적인 사용자 냉각기 문제를 해결하기 위해.
• 사용자 상호작용당 경량 업데이트를 통해 실시간, 온라인 학습을 가능하게 하기 위해.
• 공유된 잠재 공간 내에서 개별 사용자 특징과 비선형 쌍방향 상호작용을 모두 모델링하기 위해.
• 최신 기준 모델 대비 실제 광고 타겟팅 데이터에서 뛰어난 성능을 달성하기 위해.
• 동적이고 고속의 추천 환경에서 확장 가능하고 메모리 소비가 적은 배포를 지원하기 위해.

제안 방법

• OFF-Set는 사용자 특징을 저차원 공간으로 매핑하는 잠재 요인 모델을 사용하며, 사용자-아이템 매칭 점수는 내적을 통해 계산됩니다.
• 특징 조합에 대한 공유된 잠재 표현을 학습하여 쌍방향 특징 상호작용을 통합함으로써 비선형 모델링이 가능해집니다.
• 관측된 (사용자, 아이템, 보상) 삼중조에 대해 단일이고 경량의 업데이트를 수행하므로, 완전히 온라인이며 스트리밍 데이터에 적합합니다.
• 학습 목표를 로그우도 최대화 문제로 설정하여, 오프라인 사전 훈련이나 탐색 기법 없이도 수렴이 가능합니다.
• 잠재 공간은 특징별 벡터와 그들의 쌍방향 상호작용 항목을 사용하며, 관련 특징(예: 연령대, 지리적 범위)에 대해 계층적 스무딩이 가능합니다.
• 재훈련이 필요 없이 어떤 데이터 소스에서든(온라인 또는 오프라인) 훈련이 가능하므로 기존 추천 파이프라인에 원활하게 통합이 가능합니다.

실험 결과

연구 질문

• RQ1 단일 패ass 온라인 행렬 분해 알고리즘이 사용자 특징과 그들의 상호작용을 효과적으로 모델링하여 지속적인 냉각기 문제를 해결할 수 있는가?
• RQ2 쌍방향 특징 상호작용의 포함이 희박하고 스트리밍되는 환경에서 추천 성능에 어떤 영향을 미치는가?
• RQ3 실제 광고 타겟팅 시나리오에서 OFF-Set이 Factorization Machines와 GBDT와 같은 최신 기준 모델을 초월하는가?
• RQ4 스트리밍 환경에서 최소한의 메모리 및 계산 오버헤드로 성능를 유지할 수 있는가?
• RQ5 광고 타겟팅 외의 다른 냉각기 시나리오, 예를 들어 전자상거래 아이템 추천에 모델이 일반화 가능한가?

주요 결과

• 실제 광고 타겟팅 데이터에서 OFF-Set은 캠프이건 A에서 MRR 0.5993, 캠프이건 B에서 MRR 0.6234를 기록했으며, 다음으로 좋은 기준 모델인 FM에 쌍방향 특징를 적용한 경우(0.3038 및 0.3824)보다 유의미하게 뛰어난 성능을 보였다.
• OFF-Set과 무작위 기준 모델 간의 성능 격차는 캠프이건 A에서 0.3879, 캠프이건 B에서 0.3979였으며, 둘 다 95% 신뢰수준에서 0.055 및 0.091의 유의미성 임계값을 초과했다.
• 합성 데이터에서는 OFF-Set이 FM에 쌍방향 특징를 적용한 경우(0.8390 MRR)와 동일한 성능을 보였고, GBDT(0.8327 MRR)와 원시 FM(0.8051 MRR)를 모두 앞섰다.
• 트렌드가 변화하는 합성 데이터에서는 OFF-Set이 강력한 성능(0.8231 MRR)을 유지했지만, FM에 쌍방향 특징를 적용한 경우는 0.6803으로 떨어졌으며, 이는 개념 이동에 대한 강건성을 시사한다.
• 알고리즘의 단일 패스 및 경량 업데이트 메커니즘이 고속도 및 메모리 제약이 있는 환경에서 효율적인 구현을 가능하게 하며, GBDT나 FM과 같은 재훈련 기반 모델보다 온라인 환경에서 뛰어난 성능을 발휘한다.
• 희박한 클릭 데이터(비클릭 수가 클릭 수보다 2~3개의 지수 차이만큼 많음)를 가진 실제 환경에서 OFF-Set은 데이터 불균형에도 불구하고 높은 MRR를 유지하며 뛰어난 확장성과 적응성을 입증했다.