[논문 리뷰] Natural Language Processing via LDA Topic Model in Recommendation Systems

Hamed Jelodar, Yongli Wang외 2명|arXiv (Cornell University)|2019. 09. 20.

Recommender Systems and Techniques참고 문헌 76인용 수 4

한 줄 요약

이 논문은 자연어 처리를 위한 LDA 주제 모델링을 활용한 추천 시스템의 분류 체계를 제안하며, ISWC 및 WWW 컨퍼런스 논문(2013–2017)을 분석하기 위해 게이블스 샘플링을 적용한다. LDA 기반 시스템이 추천 시스템의 냉시작 문제, 희소성 문제, 잠재적 사용자 관심사 모델링을 효과적으로 해결하며, 온라인 커뮤니티에서 전통적인 협업 필터링에 비해 강력한 대안을 제공함을 입증한다.

ABSTRACT

Today, Internet is one of the widest available media worldwide. Recommendation systems are increasingly being used in various applications such as movie recommendation, mobile recommendation, article recommendation and etc. Collaborative Filtering (CF) and Content-Based (CB) are Well-known techniques for building recommendation systems. Topic modeling based on LDA, is a powerful technique for semantic mining and perform topic extraction. In the past few years, many articles have been published based on LDA technique for building recommendation systems. In this paper, we present taxonomy of recommendation systems and applications based on LDA. In addition, we utilize LDA and Gibbs sampling algorithms to evaluate ISWC and WWW conference publications in computer science. Our study suggest that the recommendation systems based on LDA could be effective in building smart recommendation system in online communities.

연구 동기 및 목표

• 앱, 음악, 여행, 과학 논문 추천와 같은 다양한 분야에서 LDA 주제 모델링 기반 추천 시스템의 종합적 분류 체계를 수립하기 위해.
• ISWC 및 WWW 컨퍼런스에서의 학술 논문 데이터(2013–2017)를 분석하기 위해 LDA 및 게이블스 샘플링의 효과성을 평가하기 위해.
• 협업 필터링의 핵심적 한계인 냉시작 문제와 데이터 희소성 문제를 LDA 기반 방법이 얼마나 줄일 수 있는지 조사하기 위해.
• 명시적 사용자 평가나 사전 지식에 의존하지 않고 텍스트 콘텐츠에서 잠재적 사용자 관심사를 모델링하고 추출하기 위해.

제안 방법

• 학술 논문의 텍스트 데이터에서 숨겨진 주제를 발견하기 위해 생성적 확률 모델인 잠재 디리클레 분할(Latent Dirichlet Allocation, LDA)을 사용하였다.
• 문서의 주제 분포와 주제의 단어 분포를 추정하기 위해 LDA에서의 근사 추론을 위해 게이블스 샘플링을 적용하였다.
• DBLP 데이터셋을 활용하여 ISWC 및 WWW 컨퍼런스 논문(2013–2017)에서 코퍼스를 구축하였으며, 각 논문을 단어를 토큰으로 하는 문서로 간주하였다.
• 문서-주제 및 주제-단어 분포를 모델링하기 위해 딜레르트 우선분포(α 및 η)를 사용하여 확률적 주제 추론을 가능하게 하였다.
• 잠재 주제를 사용자 및 아이템 특성과 매핑하여, 의미적 콘텐츠 기반으로 사용자 선호도와 아이템 특성을 시뮬레이션하였다.
• 주제 일관성과 의미 분석을 통해 주제 모델의 성능을 평가하여 연구 트렌드 및 사용자 관심사를 식별하는 데에 활용하였다.

실험 결과

연구 질문

• RQ1 LDA 기반 주제 모델링을 음악, 앱, 과학 논문과 같은 다양한 분야의 추천 시스템 구축에 체계적으로 적용하는 방법은 무엇인가?
• RQ2 새로운 사용자나 아이템이 상호작용 기록이 부족한 상황에서 LDA가 추천 시스템의 냉시작 문제를 어느 정도 완화할 수 있는가?
• RQ3 텍스트 메타데이터의 의미적 콘텐츠를 활용함으로써 LDA가 협업 필터링의 데이터 희소성 문제를 효과적으로 줄일 수 있는가?
• RQ4 명시적 선호 신호 없이 텍스트 콘텐츠와 평가 패턴만을 사용하여 LDA가 잠재적 사용자 관심사를 얼마나 정확하게 모델링할 수 있는가?
• RQ5 학술 논문 데이터에 LDA를 적용함으로써 연구 트렌드 및 연구자 관심사에 대해 어떤 통찰을 도출할 수 있는가?

주요 결과

• LDA 기반 추천 시스템은 상호작용 기록에 의존하지 않고 의미적 콘텐츠를 통해 신규 사용자나 아이템을 모델링함으로써 냉시작 문제를 효과적으로 해결한다.
• ISWC 및 WWW 컨퍼런스 논문에 LDA를 적용한 결과, 시간이 지남에 따라 연구 트렌드와 저자 관심사와 관련된 일관성 있는 주제 클러스터를 도출할 수 있었다.
• 게이블스 샘플링을 통해 LDA에서 효과적인 추론이 가능해져 '세마틱 웹', '지식 그래프', '정보 검색'과 같은 의미 있는 주제를 학술 텍스트에서 추출할 수 있었다.
• LDA는 차원 축소 및 탐색적 데이터 분석에 유용하게 기여하여, 콘텐츠 기반 추천 파이프라인의 해석 가능성 향상과 희소성 감소에 기여하였다.
• LDA를 통한 주제 모델링은 사용자 생성 콘텐츠와 아이템 설명에서 반복되는 의미적 주제를 식별함으로써 잠재적 사용자 관심사를 성공적으로 포착하였다.
• LDA를 협업 필터링 방법과 통합함으로써 추천 정확도와 다양성이 향상되었으며, 특히 평가 데이터가 희소한 환경에서 두드러진 효과를 보였다.