[논문 리뷰] Personalized Prompt Learning for Explainable Recommendation

Lei Li, Yongfeng Zhang외 1명|arXiv (Cornell University)|2022. 02. 15.

Recommender Systems and Techniques인용 수 29

한 줄 요약

PEPLER는 사용자/아이템 ID를 프롬프트로 다루어 설명 가능한 추천을 생성하기 위해 개인화된 프롬프트 학습을 도입하고, 이산 프롬프트(특징) 또는 연속 프롬프트(ID 벡터)를 사용하며, 사전 학습된 트랜스포머와의 격차를 해소하기 위한 두 가지 학습 전략을 제공합니다.

ABSTRACT

Providing user-understandable explanations to justify recommendations could help users better understand the recommended items, increase the system's ease of use, and gain users' trust. A typical approach to realize it is natural language generation. However, previous works mostly adopt recurrent neural networks to meet the ends, leaving the potentially more effective pre-trained Transformer models under-explored. In fact, user and item IDs, as important identifiers in recommender systems, are inherently in different semantic space as words that pre-trained models were already trained on. Thus, how to effectively fuse IDs into such models becomes a critical issue. Inspired by recent advancement in prompt learning, we come up with two solutions: find alternative words to represent IDs (called discrete prompt learning), and directly input ID vectors to a pre-trained model (termed continuous prompt learning). In the latter case, ID vectors are randomly initialized but the model is trained in advance on large corpora, so they are actually in different learning stages. To bridge the gap, we further propose two training strategies: sequential tuning and recommendation as regularization. Extensive experiments show that our continuous prompt learning approach equipped with the training strategies consistently outperforms strong baselines on three datasets of explainable recommendation.

연구 동기 및 목표

• 추천 시스템에서 사용자 이해 가능한 설명의 필요성을 동기 부여하여 사용성 및 신뢰도를 높인다.
• 설명 생성을 위한 사용자/아이템 ID를 사전 학습된 언어 모델과 융합하는 방법을 조사한다.
• 전통적인 시퀀스 모델 없이 설명을 생성하기 위한 두 가지 프롬프트 기반 접근법(이산 및 연속)을 제안한다.
• 설명 가능성을 향상시키기 위해 무작위로 초기화된 프롬프트를 고정된 사전 학습 모델과 정렬시키는 학습 전략을 개발한다.

제안 방법

• 사전 학습된 트랜스포머 내에서 설명 생성을 안내하기 위해 아이템 특징을 프롬프트로 사용하여 이산 프롬프트 학습(PEPLER-D)을 제안한다.
• ID를 학습 가능한 프롬프트 벡터로 임베딩하고 설명과 함께 입력하여 연속 프롬프트 학습(PEPLER-C)을 제안한다.
• 프롬프트에 조건화된 단어 예측으로 모델을 학습시키기 위한 음의 로그 가능도(NLL) 목표를 도입한다.
• 연속 프롬프트를 위한 두 가지 학습 전략을 개발한다: 순차적 튜닝(언어 모델 고정 후 공동 파인튜닝) 및 추천을 정규화로 활용(평점 예측을 사용하여 설명 품질을 보강).
• 사용자 및 아이디를 특징(이산 프롬프트)으로 표현하거나 학습된 임베딩(연속 프롬프트)으로 표현하고 탐욕적 디코딩으로 설명을 생성한다.
• 기저 추천 모델과의 호환성을 보장하기 위해 (u,i) 또는 특징을 갖춘 (u,i)로 설명을 조건화한다.

Figure 1. A review example from Yelp. The user and the restaurant are omitted for privacy protection.

실험 결과

연구 질문

• RQ1 개인화된 프롬프트(이산 또는 연속)가 사전 학습된 언어 모델을 사용한 효과적인 설명 가능 추천을 가능하게 할 수 있는가?
• RQ2 무작위로 초기화된 연속 프롬프트와 고정된 사전 학습 트랜스포머 사이의 학습 간격을 어떻게 해소할 수 있는가?
• RQ3 순차적 튜닝과 정규화로서의 추천과 같은 학습 전략이 설명 품질과 설명 가능성을 향상시키는가?
• RQ4 이산(특징 기반) 프롬프트와 연속(ID-벡터) 프롬프트가 설명 생성을 비교해 어떤 차이를 보이는가?
• RQ5 이 접근법이 서로 다른 기본 추천 모델(예: MF, MLP)과 데이터셋에서도 적용 가능한가?

주요 결과

• 연속 프롬프트 학습과 제안된 학습 전략은 텍스트 품질과 설명 가능성 측면에서 세 데이터셋에서 강력한 기준선보다 우수하다.
• PEPLER-D는 정보가 풍부한 아이템 특징을 프롬프트로 활용하여 사전 학습 모델 내에서 효과적인 설명 생성을 입증한다.
• 순차적 튜닝은 공동 학습 전에 연속 프롬프트를 사전 학습 모델과 맞추는 데 도움이 되어 최적화 문제를 완화한다.
• 정규화로서의 추천은 학습 과정에 평점 예측 신호를 포함시켜 설명 품질을 향상시킨다.
• PEPLER는 RNN 기반, 표준 트랜스포머 또는 사전 학습되지 않은 접근 방식에 비해 설명 가능한 추천 태스크에서 우수하다.

Figure 2. A comparison between left-to-right unidirectional attention masking (left) and bidirectional attention masking (right).