[논문 리뷰] DKN: Deep Knowledge-Aware Network for News Recommendation

Hongwei Wang, Fuzheng Zhang외 2명|arXiv (Cornell University)|2018. 01. 25.

Topic Modeling참고 문헌 50인용 수 188

한 줄 요약

DKN은 지식 그래프 표현을 다채널의 단어-엔티티 정렬 CNN과 결합하여 지식 인지 기반의 뉴스 임베딩을 생성하고, 사용자의 이력에 대한 주의(attention)을 이용해 뉴스의 CTR을 예측합니다. 이 모델은 Bing News data에서 최첨단 기준선보다 성능이 우수하며, 지식 및 주의 구성요소로부터 추가 이득을 얻습니다.

ABSTRACT

Online news recommender systems aim to address the information explosion of news and make personalized recommendation for users. In general, news language is highly condensed, full of knowledge entities and common sense. However, existing methods are unaware of such external knowledge and cannot fully discover latent knowledge-level connections among news. The recommended results for a user are consequently limited to simple patterns and cannot be extended reasonably. Moreover, news recommendation also faces the challenges of high time-sensitivity of news and dynamic diversity of users' interests. To solve the above problems, in this paper, we propose a deep knowledge-aware network (DKN) that incorporates knowledge graph representation into news recommendation. DKN is a content-based deep recommendation framework for click-through rate prediction. The key component of DKN is a multi-channel and word-entity-aligned knowledge-aware convolutional neural network (KCNN) that fuses semantic-level and knowledge-level representations of news. KCNN treats words and entities as multiple channels, and explicitly keeps their alignment relationship during convolution. In addition, to address users' diverse interests, we also design an attention module in DKN to dynamically aggregate a user's history with respect to current candidate news. Through extensive experiments on a real online news platform, we demonstrate that DKN achieves substantial gains over state-of-the-art deep recommendation models. We also validate the efficacy of the usage of knowledge in DKN.

연구 동기 및 목표

• 온라인 뉴스에서 개인화된 추천을 생성하여 정보 과부하를 해결한다.
• 외부 지식 그래프를 도입하여 뉴스 항목 간의 잠재적 지식 수준 연결을 포착한다.
• 뉴스 이해를 위한 단어 및 엔티티 표현을 정렬하는 다채널 KCNN을 개발한다.
• 클릭 이력을 통한 주의(attention) 메커니즘으로 동적 사용자 관심사를 모델링한다.
• 실제 Bing News 데이터에서 강력한 기준선 대비 이점을 입증한다.

제안 방법

• 엔티티 연결 및 원홉 컨텍스트 확장을 통해 각 뉴스 아이템에 지식 그래프가 풍부한 표현을 구성한다.
• TransD로 엔티티 임베딩을 학습하고 컨텍스트 임베딩을 도출하여 엔티티 표현을 풍부하게 한다.
• 단어, 엔티티 및 컨텍스트 임베딩이 정렬된 채널을 이루도록 다채널 지식 인식 CNN(KCNN)을 제안한다.
• 다채널 입력에 대한 공동 합성을 가능하게 하도록 단어 공간과 엔티티 공간을 변환 g(E)로 정렬한다.
• 현재 후보 뉴스에 대해 사용자의 클릭 이력을 가중치화하기 위해 주의(attention) 네트워크를 사용한다.
• 사용자 임베딩과 뉴스 임베딩을 연결한 후 다운스트림 DNN으로 CTR을 예측한다.

실험 결과

연구 질문

• RQ1 외부 지식 그래프를 뉴스 추천에 통합하여 기사 간의 잠재적 지식 수준 연결을 어떻게 포착할 수 있는가?
• RQ2 이 영역에서 단어-엔티티 정렬 KCNN이 전통적인 단어 전용 CNN보다 문장/뉴스 표현을 향상시키는가?
• RQ3 사전 클릭으로부터 다양한 사용자 관심사를 현재 후보 뉴스에 대해 주의 메커니즘이 효과적으로 모델링할 수 있는가?
• RQ4 지식 그래프 컨텍스트를 도입하는 것과 기본 텍스트 표현을 사용하는 것 사이의 뉴스 CTR 예측에서의 실증적 이익은 무엇인가?

주요 결과

• DKN은 F1 및 AUC에서 기준선보다 현저히 우수하며, F1에서 2.8%에서 17.0% 사이, AUC에서 2.6%에서 16.1% 사이의 이득이 보고된다.
• 지식 그래프 및 그 맥락을 도입하면 지식이 없거나 맥락이 없는 변형보다 측정 가능한 개선이 얻어진다.