[논문 리뷰] LKPNR: LLM and KG for Personalized News Recommendation Framework

Hao Chen, Xie Runfeng외 5명|arXiv (Cornell University)|2023. 08. 23.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 뉴스 텍스트의 깊은 의미적 이해를 위해 대규모 언어 모델(Large Language Model, LLM)을 통합하고 뉴스 엔티티 간의 다단계 구조적 관계를 포착하기 위해 지식 그래프(Knowledge Graph, KG)를 활용하는 새로운 개인화 뉴스 추천 프레임워크인 LKPNR을 제안한다. LLM이 생성한 문맥 기반 표현과 KG가 보강한 엔티티 특징을 다중 헤드 어텐션을 통해 융합함으로써 LKPNR은 특히 장꼬리 항목에 대해 추천 성능을 크게 향상시켰으며, MIND 데이터셋에서 기존의 전통적 모델들을 능가한다.

ABSTRACT

Accurately recommending candidate news articles to users is a basic challenge faced by personalized news recommendation systems. Traditional methods are usually difficult to grasp the complex semantic information in news texts, resulting in unsatisfactory recommendation results. Besides, these traditional methods are more friendly to active users with rich historical behaviors. However, they can not effectively solve the "long tail problem" of inactive users. To address these issues, this research presents a novel general framework that combines Large Language Models (LLM) and Knowledge Graphs (KG) into semantic representations of traditional methods. In order to improve semantic understanding in complex news texts, we use LLMs' powerful text understanding ability to generate news representations containing rich semantic information. In addition, our method combines the information about news entities and mines high-order structural information through multiple hops in KG, thus alleviating the challenge of long tail distribution. Experimental results demonstrate that compared with various traditional models, the framework significantly improves the recommendation effect. The successful integration of LLM and KG in our framework has established a feasible path for achieving more accurate personalized recommendations in the news field. Our code is available at https://github.com/Xuan-ZW/LKPNR.

연구 동기 및 목표

• 뉴스 텍스트에서 복잡한 의미적 특징을 포착하는 데에 한계를 가진 기존의 뉴스 추천 모델의 문제점을 해결하기 위해.
• 덜 인기 있는, 활동성이 낮은 사용자에게 타겟으로 삼는 뉴스 항목을 위한 표현 학습을 향상시킴으로써 장꼬리 문제를 완화하기 위해.
• 대규모 언어 모델(LLM)과 지식 그래프(KG)를 통합하여 향상된 뉴스 및 사용자 표현을 위한 통합 프레임워크를 구축하기 위해.
• 모듈러 설계를 통해 기존의 일반적인 뉴스 추천 모델에 대한 탄력적인 통합을 가능하게 하기 위해.
• LLM의 문맥적 의미와 KG의 구조적 관계를 활용함으로써 추천 정확도를 향상시키기 위해.

제안 방법

• 뉴스 제목과 초록의 풍부한 문맥 기반 의미적 표현을 생성하기 위해 대규모 언어 모델(LLM)을 활용하여 깊은 언어학적 및 세계 지식을 포착한다.
• 다단계 지식 그래프 추론을 수행하여 뉴스 엔티티에서 고차원의 구조적 정보를 추출하는 KG 보강 인코더를 활용한다.
• KG 내 이웃 엔티티를 동적으로 가중치를 매기기 위해 다중 헤드 쿼리 프로젝션을 적용하여 다양한 정보 통합과 협업을 가능하게 한다.
• 어텐션 기반 메커니즘을 통해 LLM이 생성한 뉴스 표현과 KG가 보강한 엔티티 특징을 융합하여 전체 뉴스 표현을 향상시킨다.
• 일반적인 뉴스 추천 모델에 다양한 방식으로 쉽게 통합할 수 있도록 모듈러한 설계를 통해 플러그 앤 플레이 통합을 지원한다.
• LLM에 매핑된 쿼리가 표준 인코더 쿼리보다 관련성이 높은 KG 이웃을 검색하는 데에서 뛰어난 성능을 보이며, 검색 기반 쿼리 메커니즘을 사용한다.

Figure 1: Differences between traditional news recommendation model (a) and LKPNR framework (b)

실험 결과

연구 질문

• RQ1 LLM은 기존의 텍스트 인코더를 초월해 뉴스 표현의 의미적 풍부성을 향상시킬 수 있는가?
• RQ2 다단계 지식 그래프 추론은 개인화 추천에서 장꼬리 뉴스 항목의 표현을 향상시키는 데 기여하는가?
• RQ3 LLM과 KG의 통합은 개별적으로 사용된 모델과 비교해 추천 성능에 어떤 영향을 미치는가?
• RQ4 KG 쿼리에서 다중 헤드 어텐션을 사용함으로써 이웃 엔티티로부터 협업 신호를 더 잘 포착할 수 있는가?
• RQ5 제안된 프레임워크는 기존의 일반적인 뉴스 추천 모델과 탄력적으로 조합되어 성능 향상을 이끌 수 있는가?

주요 결과

• LLM에 매핑된 쿼리가 관련성이 높은 KG 엔티티를 검색하는 데서 일반적인 뉴스 인코더 쿼리보다 뛰어난 성능을 보이며, 더 우수한 의미적 일치를 보여준다.
• KG 보강 인코더에서 세 개의 어텐션 헤드를 사용할 경우(num_head=3) 검색 성능이 가장 높아지며, 이는 최적의 표현 공간 확장을 의미한다.
• LLM과 KG의 통합은 MIND 데이터셋에서 기존의 전통적 기준 모델들을 능가하는 추천 성능 향상을 크게 이끌어낸다.
• 텍스트 유사도가 낮을지라도, KG 이웃을 통해 후보 뉴스와 사용자 이력 간의 잠재적 연결을 효과적으로 포착한다.
• 시각화 결과는 텍스트 유사도가 낮은 후보 뉴스라도 관련성이 높은 KG 이웃이 존재할 경우 높은 매칭 점수를 확보할 수 있음을 확인한다.
• 모델은 구조적 그래프 정보를 활용함으로써 덜 인기 있는 뉴스 항목의 표현 학습을 향상시켜 장꼬리 문제를 완화한다.

Figure 2: The framework of LKPNR. The lower left corner of figure is the input news data into LKPNR, where the words marked in yellow indicates the entities. Candidate news is encoded by LK-Aug news encoder that combines LLM and KG with traditional general news encoder to obtain news representation.