[논문 리뷰] Neural News Recommendation with Attentive Multi-View Learning

Chuhan Wu, Fangzhao Wu외 4명|arXiv (Cornell University)|2019. 07. 12.

Topic Modeling참고 문헌 19인용 수 33

한 줄 요약

이 논문은 단일 뉴스 뷰를 넘어서 제목, 본문, 카테고리 등 다중 뷰에서 unified한 뉴스 표현을 학습하는 신경 뉴스 추천기 NAML을 제안하며, browsed 뉴스를 이용해 사용자 표현을 구축하여 추천 성능을 향상시킨다.

ABSTRACT

Personalized news recommendation is very important for online news platforms to help users find interested news and improve user experience. News and user representation learning is critical for news recommendation. Existing news recommendation methods usually learn these representations based on single news information, e.g., title, which may be insufficient. In this paper we propose a neural news recommendation approach which can learn informative representations of users and news by exploiting different kinds of news information. The core of our approach is a news encoder and a user encoder. In the news encoder we propose an attentive multi-view learning model to learn unified news representations from titles, bodies and topic categories by regarding them as different views of news. In addition, we apply both word-level and view-level attention mechanism to news encoder to select important words and views for learning informative news representations. In the user encoder we learn the representations of users based on their browsed news and apply attention mechanism to select informative news for user representation learning. Extensive experiments on a real-world dataset show our approach can effectively improve the performance of news recommendation.

연구 동기 및 목표

• 여러 정보 소스(제목, 본문, 카테고리)를 활용해 단일 뉴스 뷰를 넘어 개선된 뉴스 및 사용자 표현을 얻고자 한다.
• 다양한 뷰를 단일화하기 위한 주의 기반 멀티-뷰 뉴스 인코더를 발전시키며 단어 수준 및 뷰 수준의 주의를 이용해 융합한다.
• 정보성 있는 browsed 뉴스를 선택해 사용자 표현을 형성하는 사용자 인코더를 구성한다.
• 사용자 표현과 후보 뉴스 표현 간의 내적 곱을 바탕으로 클릭 예측기를 구현한다.
• 실제 MSN News 데이터에서 평가하고 베이스라인 대비 성능 향상을 입증한다.

제안 방법

• CNN과 단어 수준 주의를 갖는 제목 인코더; CNN과 단어 수준 주의를 갖는 본문 인코더; 카테고리 ID를 밀집층으로 변환하는 카테고리 인코더; 제목/본문/카테고리/하위 카테고리 뷰의 중요도를 가중하는 뷰 수준 주의.
• 뷰 수준 주의를 이용해 뷰를 결합해 통합 뉴스 표현을 계산한다: r = alpha_c r^c + alpha_sc r^sc + alpha_t r^t + alpha_b r^b.
• 사용자 인코더에서 browsed 뉴스 표현에 대해 뉴스 수준 주의를 적용해 사용자인코더를 학습한다: u = sum_i alpha_i^n r_i.
• 유사도 예측기로 y_hat = u^T r_c를 내부 곱으로 사용하고, 학습 시 음수 샘플링을 통해 pseudo K+1 분류 задач를 형성한다.
• 음수 로그 가능도에 소프트맥스 정규화를 적용해 끝에서 끝으로 학습한다(K=4)로.
• 실험 설정: 10k 명의 사용자, 42,255개 뉴스 항목, 489,644개 양성, 6,651,940개 음성; 임베딩 300/100, CNN 필터 400, 윈도우 3, 드롭아웃 20%, Adam 옵티마이저, 배치 100.

실험 결과

연구 질문

• RQ1 다중 뷰(제목, 본문, 카테고리) 정보가 단일 뷰 접근법보다 뉴스 표현 학습을 개선할 수 있는가?
• RQ2 단어 수준 및 뷰 수준의 주의가 뉴스 표현에서 유의미한 단어와 뷰를 선택하는 데 기여하는가?
• RQ3 browsed 뉴스를 활용한 주의 기반 사용자 인코더가 클릭 예측을 위한 사용자 표현을 개선하는가?
• RQ4 실제 데이터에서 NAML이 베이스라인 신경계 및 전통 추천 방법 대비 어떤 성능을 보이는가?

주요 결과

Methods	AUC	MRR	nDCG@5	nDCG@10
LibFM	0.5880	0.3054	0.3202	0.4090
CNN	0.5909	0.3068	0.3221	0.4109
DSSM	0.6114	0.3188	0.3261	0.4185
Wide&Deep	0.5846	0.3009	0.3167	0.4062
DeepFM	0.5896	0.3066	0.3221	0.4117
DFM	0.5996	0.3133	0.3288	0.4165
DKN	0.5966	0.3113	0.3286	0.4165
NAML*	0.6434	0.3411	0.3670	0.4501

• NAML은 AUC, MRR, nDCG@5, nDCG@10에서 모든 베이스라인을 능가하며, 최적 변형(NAML*)은 모든 베이스라인 대비 유의미한 개선(p<0.001)을 달성한다.
• 본문 뷰를 사용하는 것이 제목이나 카테고리 단독보다 더 강한 성능을 보이며 모든 뷰를 결합하면 추가 이득이 있다.
• 단어 수준, 뉴스 수준, 뷰 수준의 주의가 각각 성능에 기여하며 이들의 결합이 최상의 결과를 제공한다.
• 뷰 수준 주의는 일반적으로 본문 뷰가 더 유의미하다는 것을 보여주지만, 토픽에 대해 카테고리 뷰가 매우 유의미할 수 있어 다중 뷰 접근의 타당성을 뒷받침한다.