[논문 리뷰] An Item-Based Collaborative Filtering using Dimensionality Reduction Techniques on Mahout Framework

Dheeraj kumar Bokde, Sheetal Girase외 1명|arXiv (Cornell University)|2015. 03. 23.

Recommender Systems and Techniques참고 문헌 7인용 수 13

한 줄 요약

이 논문은 아파치 마후트 프레임워크 상에서 특이값 분해(Singular Value Decomposition, SVD)와 주성분 분석(Principal Component Analysis, PCA)을 통한 차원 축소를 이용하여 항목 기반 다기준 협업 필터링(MC CF) 추천 시스템을 제안한다. 고차원의 사용자-항목 평점 행렬을 줄임으로써 희소성과 확장성 문제를 완화하고, 대규모 데이터셋에서 예측 정확도와 시스템 효율성을 향상시킨다.

ABSTRACT

Collaborative Filtering is the most widely used prediction technique in Recommendation System. Most of the current CF recommender systems maintains single criteria user rating in user item matrix. However, recent studies indicate that recommender system depending on multi criteria can improve prediction and accuracy levels of recommendation by considering the user preferences in multi aspects of items. This gives birth to Multi Criteria Collaborative Filtering. In MC CF users provide the rating on multiple aspects of an item in new dimensions,thereby increasing the size of rating matrix, sparsity and scalability problem. Appropriate dimensionality reduction techniques are thus needed to take care of these challenges to reduce the dimension of user item rating matrix to improve the prediction accuracy and efficiency of CF recommender system. The process of dimensionality reduction maps the high dimensional input space into lower dimensional space. Thus, the objective of this paper is to propose an efficient MC CF algorithm using dimensionality reduction technique to improve the recommendation quality and prediction accuracy. Dimensionality reduction techniques such as Singular Value Decomposition and Principal Component Analysis are used to solve the scalability and alleviate the sparsity problems in overall rating. The proposed MC CF approach will be implemented using Apache Mahout, which allows processing of massive dataset stored in distributed/non-distributed file system.

연구 동기 및 목표

• 다기준 협업 필터링(MC CF) 시스템에서 다면도적 사용자 평점으로 인한 차원 증가로 인한 확장성 및 희소성 문제를 해결하기 위해.
• 사용자-항목 평점 행렬의 차원을 감소시켜 추천 품질과 예측 정확도를 향상시키기 위해.
• 분산 데이터 처리를 위한 아파치 마후트 프레임워크 내에서 차원 축소 기법을 활용한 효율적인 MC CF 알고리즘을 구현하기 위해.
• 고차원적이고 희소한 평점 행렬에서 SVD와 PCA의 성능 향상 효과를 평가하기 위해.

제안 방법

• 제안된 방법은 다기준 사용자 평점 기반으로 항목 간 유사도를 계산하는 항목 기반 협업 필터링을 사용한다.
• 고차원 평점 행렬을 낮은 차원의 잠재 공간으로 투영하기 위해 특이값 분해(Singular Value Decomposition, SVD)를 적용하여 차원 축소를 수행한다.
• 사용자-항목 평점 패턴에서 최대 분산을 반영하는 주요 성분을 식별하고 유지하기 위해 주성분 분석(Principal Component Analysis, PCA)도 활용한다.
• 차원이 감소한 행렬을 사용하여 항목 간 유사도를 계산하고 보다 효율적으로 추천을 생성한다.
• 대규모 데이터셋을 Hadoop 호환 파일 시스템에 저장한 상태에서 아파치 마후트의 분산 컴퓨팅 기능을 활용하여 구현한다.
• 사용자 평점의 다면도적 특성을 처리하고, 핵심 선호 신호를 유지하는 압축된 표현으로 변환한다.

실험 결과

연구 질문

• RQ1 SVD와 PCA를 통한 차원 축소가 항목 기반 다기준 협업 필터링의 예측 정확도에 어떤 영향을 미치는가?
• RQ2 다면도적 사용자-항목 평점 행렬의 차원을 감소시키면 협업 필터링 시스템에서 희소성 및 확장성 문제를 완화할 수 있는가?
• RQ3 분산 데이터에서 SVD와 PCA를 사용한 항목 기반 MC CF 프레임워크에서 추천 품질 향상은 어느 정도인가?
• RQ4 아파치 마후트 프레임워크는 차원 축소된 MC CF 알고리즘의 확장 가능한 구현을 얼마나 잘 지원하는가?
• RQ5 다기준 추천 시스템에서 차원 축소와 정보 손실 사이의 상충 관계는 무엇인가?

주요 결과

• SVD와 PCA의 사용은 사용자-항목 평점 행렬의 차원을 크게 감소시켜 계산 효율성을 향상시킨다.
• 제안된 방법은 주로 주요 잠재 요인에 초점을 맞추어 다기준 협업 필터링에서 희소성 문제를 효과적으로 완화한다.
• 차원이 감소한 행렬에서 유도된 항목 기반 추천은 고차원 데이터에서 기준 방법보다 더 높은 예측 정확도를 보인다.
• 아파치 마후트와의 통합은 대규모 데이터셋의 확장 가능한 처리를 가능하게 하여 실세계 적용을 지원한다.
• 차원 축소와 항목 기반 필터링의 조합은 저장 및 처리 오버헤드를 줄이면서도 강력한 추천 품질을 유지한다.