[논문 리뷰] Improving Recommendation Systems with User Personality Inferred from Product Reviews

Xinyuan Lu, Min‐Yen Kan|arXiv (Cornell University)|2023. 03. 09.

Personality Traits and PsychologyPsychology인용 수 3

한 줄 요약

이 논문은 Receptiviti API를 사용하여 사용자 리뷰 텍스트에서 자동으로 OCEAN 성격 특성(열린 마음, 성실성, 외향성, 협조성, 정서적 안정성)을 추론하고, 이를 신경 협업 필터링(NCF) 모델에 통합하여 추천 성능을 햖थ한 방법을 제안한다. 이 접근 방식은 두 개의 새로운 데이터셋(아마존-뷰티 및 아마존-음악)에서 성능을 3–28% 향상시켰으며, 음악 추천에서는 열린 마음과 외향성이 가장 유익했고, 뷰티 제품 추천에서는 성실성이 가장 유익한 것으로 나타났다.

ABSTRACT

Personality is a psychological factor that reflects people's preferences, which in turn influences their decision-making. We hypothesize that accurate modeling of users' personalities improves recommendation systems' performance. However, acquiring such personality profiles is both sensitive and expensive. We address this problem by introducing a novel method to automatically extract personality profiles from public product review text. We then design and assess three context-aware recommendation architectures that leverage the profiles to test our hypothesis. Experiments on our two newly contributed personality datasets -- Amazon-beauty and Amazon-music -- validate our hypothesis, showing performance boosts of 3--28%.Our analysis uncovers that varying personality types contribute differently to recommendation performance: open and extroverted personalities are most helpful in music recommendation, while a conscientious personality is most helpful in beauty product recommendation.

연구 동기 및 목표

• 추천 시스템에서 사용자 성격 데이터 확보가 비용이 많이 들고 시간이 오래 걸리며 개인정보에 민감하기 때문에 이를 해결하고자 한다.
• 사용자 생성 리뷰 텍스트가 성격 특성을 추론하는 실용적이고 개인정보 보호에 유리한 소스가 될 수 있는지 탐색하고자 한다.
• 자동으로 추론된 성격 프로파일이 실제 추천 시나리오에서 추천 성능을 향상시키는지 평가하고자 한다.
• 뷰티 및 음악 분야의 아마존 리뷰에서 유추된 성격 점수를 포함한 새로운 공개 데이터셋을 구축하고자 한다.
• 다양한 분야에서 특정 성격 특성(OCEAN)이 추천 성능에 미치는 영향의 차이를 분석하고자 한다.

제안 방법

• 사용자 생성 제품 리뷰에서 OCEAN 성격 점수(열린 마음, 성실성, 외향성, 협조성, 정서적 안정성)를 자동으로 추론하기 위해 Receptiviti API를 활용하였다.
• 아마존 리뷰 데이터셋을 확장하고 유추된 성격 프로파일로 보강하여 두 개의 새로운 데이터셋인 Amazon-beauty와 Amazon-music을 구축하였다.
• 성격 임베딩을 신경 협업 필터링(NCF) 프레임워크에 통합하는 세 가지 컨텍스트 인식 추천 아키텍처를 설계하였다.
• 성격 점수를 보조 사용자 특성으로 포함시키기 위해 소프트 레이블링 전략을 사용하였다.
• Hit Rate(HR)와 정규화된 할인 누적 수익(NDCG)와 같은 표준 메트릭을 사용하여 다양한 설정에서 성능을 평가하였다.
• 성능 기여도 분석을 위해 제거 실험(Ablation study)과 도메인별 분석을 수행하였다.

Figure 1 . The overall structure of our model. In this example, the user’s OCEAN score is {30,70,50,30,20}. The NCF + Most salient personality selects the personality with the highest score, i.e., conscientiousness as the personality embedding vector. NCF + Soft-labeled personality takes all five OC

실험 결과

연구 질문

• RQ1 상용 NLP API를 사용해 제품 리뷰 텍스트에서 사용자 성격 특성을 정확하게 추론할 수 있는가?
• RQ2 유추된 성격 프로파일을 통합함으로써 추천 시스템 성능이 얼마나 향상되는가?
• RQ3 다른 성격 특성(OCEAN)이 음악과 뷰티 등 서로 다른 도메인에서 추천 성능에 어떻게 다른 영향을 미치는가?
• RQ4 OCEAN과 같은 굵은 단위의 성격 모델이 추천 시스템에서 가지는 한계는 무엇인가?
• RQ5 리뷰 데이터에서 성격 분포의 불균형(예: 높은 외향성 비율)이 모델 일반화에 어떤 영향을 미치는가?

주요 결과

• 제품 리뷰에서 유추된 성격 프로파일은 데이터셋 전반에서 3%에서 28%까지 성능 향상을 가져왔으며, 추천 성능 향상에 크게 기여하였다.
• 음악 도메인에서는 열린 마음과 외향성이 가장 영향력 있는 특성으로 나타났으며, 특히 외향성이 추천 품질 향상에 가장 강력한 긍정적 영향을 미쳤다.
• 뷰티 도메인에서는 성실성이 가장 유익한 성격 특성로 나타났으며, 추천 성능 향상에 뚜렷한 기여를 하였다.
• 협조성 또한 음악 추천에서 긍정적인 기여를 하였지만, 열린 마음과 외향성만큼은 아니었다.
• 정서적 안정성과 열린 마음은 양 도메인에서 성능에 거의 또는 전혀 기여하지 않아 현재 설정에서 신호 유용성이 제한적인 것으로 나타났다.
• 연구에서는 리뷰 작성 행동의 특성상 외향성이 과잉 표현되어 있는 잠재적 편향을 발견하였으며, 향후 연구에서는 구매 이력과 같은 대체 데이터 소스가 필요할 것으로 제안되었다.

Figure 2 . Distribution of personality traits in Amazon-beauty and Amazon-music datasets. The x-axis represents the score for each trait; the y-axis represents the number of users. The red line represents the median for each trait.