[논문 리뷰] End-to-end Learnable Diversity-aware News Recommendation

Chuhan Wu, Fangzhao Wu외 2명|arXiv (Cornell University)|2022. 04. 01.

Recommender Systems and Techniques인용 수 6

한 줄 요약

LeaDivRec는 순열 트랜스포머를 사용하여 뉴스 간 상호관계를 모델링하고 유사 뉴스에 대해 다양성을 학습하는 리스트 단위 순위 매기기 방식을 통해 다양성을 향상시키는 엔드 투 엔드로 학습 가능한 뉴스 추천 모델이다. 정확도 최적화 모델과 DPP와 같은 후처리 재정렬 방법에 비해 정확도와 다양성의 균형을 더 우수하게 달성한다.

ABSTRACT

Diversity is an important factor in providing high-quality personalized news recommendations. However, most existing news recommendation methods only aim to optimize recommendation accuracy while ignoring diversity. Reranking is a widely used post-processing technique to promote the diversity of top recommendation results. However, the recommendation model is not perfect and errors may be propagated and amplified in a cascaded recommendation algorithm. In addition, the recommendation model itself is not diversity-aware, making it difficult to achieve a good tradeoff between recommendation accuracy and diversity. In this paper, we propose a news recommendation approach named LeaDivRec, which is a fully learnable model that can generate diversity-aware news recommendations in an end-to-end manner. Different from existing news recommendation methods that are usually based on point- or pair-wise ranking, in LeaDivRec we propose a more effective list-wise news recommendation model. More specifically, we propose a permutation Transformer to consider the relatedness between candidate news and meanwhile can learn different representations for similar candidate news to help improve recommendation diversity. We also propose an effective list-wise training method to learn accurate ranking models. In addition, we propose a diversity-aware regularization method to further encourage the model to make controllable diversity-aware recommendations. Extensive experiments on two real-world datasets validate the effectiveness of our approach in balancing recommendation accuracy and diversity.

연구 동기 및 목표

• 기존 뉴스 추천 모델이 다양성보다 정확도를 우선시하여 반복적이고 덜 매력적인 추천을 유도하는 한계를 해결하기 위해.
• DPP와 같은 후처리 재정렬 기법에 의존하는 것을 제거하여 모델 오류를 악화시키고 정확도와 다양성을 효과적으로 균형 잡지 못하는 문제를 해결하기 위해.
• 정확도와 다양성을 통합된 학습 과정에서 동시에 최적화하는 완전히 학습 가능한 엔드 투 엔드 프레임워크를 개발하기 위해.
• 학습 중 가변 가능한 하이퍼파라미터를 통해 제어 가능한 다양성 수준을 제공하기 위해.

제안 방법

• 후보 뉴스 간 상호관계를 고려하는 리스트 단위 순위 매기기 모델을 제안하여 개별 뉴스를 독립적으로 점수 매기지 않는다.
• 다른 입력 순열 순서를 각 어텐션 헤드에 적용하여 후보 뉴스 간 동적 관계를 포착하고 의미적으로 유사한 항목에 대해 다양성을 학습하는 순열 트랜스포머 아키텍처를 도입한다.
• 전체 순위 목록을 동시에 최적화하는 새로운 리스트 단위 학습 목표를 적용하여 실제 추천 목표와의 모델 일치도를 향상시킨다.
• 정확도와 다양성의 균형을 이루기 위해 손실 함수에 다양성 인식 정규화 항을 통합하며, 이는 학습 중 조정 가능한 하이퍼파라미터 λ로 제어된다.
• 실제 데이터셋을 사용해 엔드 투 엔드로 모델을 훈련하여 후속 후처리 단계 없이도 관련성과 다양성을 동시에 최적화한다.
• 표준 위치 인코딩 트랜스포머보다 입력 순서에 덜 민감하고 유사 뉴스를 더 효과적으로 구분하는 순열 기반 어텐션 메커니즘을 사용한다.

실험 결과

연구 질문

• RQ1 완전히 엔드 투 엔드로 학습 가능한 모델이 기존 정확도 최적화 모델보다 정확도와 다양성의 균형을 더 잘 달성할 수 있는가?
• RQ2 순열 트랜스포머가 뉴스 간 상호관계를 효과적으로 모델링하고 유사 뉴스에 대해 다양성을 학습하는 표현을 생성하는 데 얼마나 효과적인가?
• RQ3 다양성 인식 정규화를 통한 리스트 단위 학습이 점 단위 또는 쌍 단위 학습보다 정확도와 다양성의 균형을 더 잘 달성하는가?
• RQ4 DPP 기반 재정렬이라는 표준 후처리 방법에 비해 LeaDivRec이 더 나은 정확도-다양성 균형을 달성할 수 있는가?
• RQ5 학습 중 단일 하이퍼파라미터를 통해 모델의 다양성 수준을 얼마나 제어할 수 있는가?

주요 결과

• 동일한 다양성 제약 조건 하에서 LeaDivRec는 DPP 기반 재정렬보다 더 높은 추천 정확도를 달성하여 정확도와 다양성의 균형을 더 효과적으로 달성함을 입증한다.
• MIND 데이터셋에서는 λ = 10에서 최적의 균형을 달성했고, PrivateNews에서는 λ = 20에서 최고 성능를 기록하여 다양성 강도를 효과적으로 제어할 수 있음을 보여준다.
• 정확도와 다양성 측면에서 표준 트랜스포머(위치 인코딩 유무 상관없이)보다 순열 트랜스포머가 뛰어난 성능을 보이며, 뉴스 간 상호관계 모델링과 표현 다양성 측면에서 뛰어난 우수성을 입증한다.
• 사례 연구 결과 LeaDivRec는 의미적으로 유사한 뉴스에 대해 상당히 다른 순위를 할당하여 표준 모델 대비 레이아웃의 중복을 줄이고 다양성을 향상시킴을 확인했다.
• DPP와 같은 계단식 후처리 파이프라인을 피하기 때문에 기본 추천 모델의 오류가 확산되고 악화되는 위험을 줄였다.
• 다양한 실험을 통해 LeaDivRec는 두 개의 실세계 데이터셋에서 여러 강력한 베이스라인 대비 정확도 및 다양성 지표에서 일관되게 뛰어난 성능을 보였다.