[논문 리뷰] Two Birds with One Stone: Unified Model Learning for Both Recall and Ranking in News Recommendation

Chuhan Wu, Fangzhao Wu외 2명|arXiv (Cornell University)|2021. 04. 15.

Recommender Systems and Techniques인용 수 4

한 줄 요약

이 논문은 개인화된 뉴스 추천에서 뉴스 리콜과 랭킹을 위한 사용자 임베딩을 통합적으로 학습하는 유니티드 모델 UniRec를 제안한다. 랭킹용 사용자 임베딩을 어텐션 쿼리로 사용하여 기본 사용자 임베딩을 선택하고 조합함으로써, UniRec는 성능 향상과 함께 계산 오버헤드를 줄이는 모델 통합을 통해 두 작업 모두 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recall and ranking are two critical steps in personalized news recommendation. Most existing news recommender systems conduct personalized news recall and ranking separately with different models. However, maintaining multiple models leads to high computational cost and poses great challenge to meeting the online latency requirement of news recommender systems. In order to handle this problem, in this paper we propose UniRec, a unified method for recall and ranking in news recommendation. In our method, we first infer user embedding for ranking from the historical news click behaviors of a user using a user encoder model. Then we derive the user embedding for recall from the obtained user embedding for ranking by using it as the attention query to select a set of basis user embeddings which encode different general user interests and synthesize them into a user embedding for recall. The extensive experiments on benchmark dataset demonstrate that our method can improve both efficiency and effectiveness for recall and ranking in news recommendation.

연구 동기 및 목표

• 대규모 시스템에서 뉴스 리콜과 랭킹을 위한 별도의 모델을 유지하는 데 발생하는 높은 계산 및 메모리 비용을 해결하기 위해.
• 성능 저하 없이 리콜과 랭킹을 위한 사용자 임베딩 학습을 통합하기 위해.
• 랭킹에서의 사용자 관심 표현을 활용하여 리콜 품질을 향상시키고 노이즈가 있는 관심사들을 걸러내기 위해.
• 실시간 뉴스 추천 시스템에서 엄격한 온라인 지연 시간 요구사항을 충족하기 위해.

제안 방법

• 사용자 인코더 모델은 이력 클릭 뉴스를 처리하여 멀티헤드 자기주의 어텐션과 위치 임베딩을 사용해 랭킹용 사용자 임베딩을 생성한다.
• 랭킹 사용자 임베딩은 메모리에 저장된 M개의 일반 사용자 관심 표현에서 상위-k개의 기본 사용자 임베딩을 선택하기 위한 어텐션 쿼리로 사용된다.
• 선택된 기본 임베딩은 동적으로 가중치가 부여되고 조합되어 리콜을 위한 개인화된 사용자 임베딩을 형성한다.
• 추론 시에는 오직 상위-P개의 기본 임베딩(가장 높은 어텐션 가중치를 가진 것들)만 사용되어 노이즈가 있거나 관련성이 없는 사용자 관심사를 걸러낸다.
• 뉴스 인코더는 BERT 스타일 아키텍처를 사용하여 뉴스 콘텐츠를 임베딩하고, 사용자 인코더는 자기주의 어조와 위치 인코딩을 통해 클릭 행동 시퀀스를 모델링한다.
• 통합 프레임워크는 리콜과 랭킹 모두에서 뉴스 인코더와 랭킹 사용자 인코더를 공유하여 모델 중복을 최소화한다.

실험 결과

연구 질문

• RQ1 성능 저하 없이 단일 통합 모델이 뉴스 리콜과 랭킹을 위한 사용자 임베딩을 효과적으로 학습할 수 있는가?
• RQ2 랭킹에서의 사용자 관심 표현을 어떻게 활용하여 리콜 품질을 향상시킬 수 있는가?
• RQ3 기본 사용자 임베딩의 최적 수와 리콜에 선택할 수 있는 최적의 수는 얼마이며, 성능과 효율성을 균형 잡기 위해선 어떻게 해야 하는가?
• RQ4 기본 임베딩에 대한 어텐션 기반 선택이 노이즈가 있는 사용자 관심사를 걸러내고 리콜의 다양성과 정확도를 향상시킬 수 있는가?

주요 결과

• UniRec는 NAML 및 NPA와 같은 강력한 베이스라인을 뛰어넘는 랭킹 성능을 보이며, 멀티헤드 자기주의 어텐션과 위치 임베딩의 효과성을 입증한다.
• UniRec (top)는 상위 5개의 기본 임베딩만 사용하는 반면, UniRec(all)는 모든 기본 임베딩을 사용한다. 결과적으로 UniRec (top)가 더 높은 리콜 성능을 기록함으로써 선택적 어텐션의 노이즈 필터링 효과가 입증된다.
• 기본 사용자 임베딩 수 M의 최적 값은 20이며, 너무 작거나 너무 크면 커버리지 부족 또는 과적합으로 인해 성능이 저하된다.
• 리콜에 선택할 기본 임베딩 수 P의 최적 값은 5이다. 너무 작으면 커버리지가 부족하고 너무 크면 노이즈 임베딩이 포함되어 성능이 떨어진다.
• 실세계 벤치마크 데이터셋에서 실시한 광범위한 실험을 통해 UniRec는 통합 모델을 사용함에도 불구하고 리콜과 랭킹 양 측면에서 최신 기술 수준의 성능을 달성함을 확인했다.
• 사례 연구 결과, UniRec는 다양한 카테고리에 걸쳐 추론된 사용자 관심사와 일치하는 다채롭고 정확한 리콜 결과를 생성함을 보여주었다.