[논문 리뷰] Personalized QoS Prediction of Cloud Services via Learning Neighborhood-based Model

Hao Wu, Jun He외 2명|arXiv (Cornell University)|2015. 08. 19.

Recommender Systems and Techniques참고 문헌 27인용 수 6

한 줄 요약

이 논문은 구 nu 클라우드 서비스에서 개인화된 QoS 예측을 위한 학습 기반 이웃 기반 모델을 제안하며, 정확성과 강건성을 향상시키기 위해 공동 필터링을 전역 최적화로 형식화한다. 이 방법은 행렬 분해나 히우리스틱 CF와 같은 최신 기술들을 능가하며, 실제 QoS 데이터에서 MAE와 RMSE 모두에서 뛰어난 성능을 기록한다. 동시에 이웃 추론을 통해 설명 가능성을 유지한다.

ABSTRACT

The explosion of cloud services on the Internet brings new challenges in service discovery and selection. Particularly, the demand for efficient quality-of-service (QoS) evaluation is becoming urgently strong. To address this issue, this paper proposes neighborhood-based approach for QoS prediction of cloud services by taking advantages of collaborative intelligence. Different from heuristic collaborative filtering and matrix factorization, we define a formal neighborhood-based prediction framework which allows an efficient global optimization scheme, and then exploit different baseline estimate component to improve predictive performance. To validate the proposed methods, a large-scale QoS-specific dataset which consists of invocation records from 339 service users on 5,825 web services on a world-scale distributed network is used. Experimental results demonstrate that the learned neighborhood-based models can overcome existing difficulties of heuristic collaborative filtering methods and achieve superior performance than state-of-the-art prediction methods.

연구 동기 및 목표

• 희박하고 주관적인 사용자 평가로 인해 클라우드 서비스에서 개인화된 QoS 예측에 도전하는 문제를 해결하기 위해.
• 히우리스틱 공동 필터링과 행렬 분해의 한계, 즉 형식적 최적화 부족과 낮은 설명 가능성 문제를 해결하기 위해.
• 전역 최적화를 가능하게 하고 예측 강건성을 향상시키는 형식적 이웃 기반 프레임워크를 개발하기 위해.
• 다양한 서비스 및 사용자 상호작용을 포함한 대규모 실세계 QoS 데이터셋에서 모델 성능을 검증하기 위해.
• 상위-k 이웃 선택과 행렬 밀도가 예측 정확도에 미치는 영향을 탐색하기 위해.

제안 방법

• 개선된 QoS 예측을 위해 기초 추정치와 학습된 구성요소를 통합한 형식적 이웃 기반 예측 프레임워크를 제안한다.
• 기초 추정 전략이 다른 세 가지 이웃 모델 변종(NbModel1, NbModel2, NbModel3)을 도입한다.
• 이웃 가중치와 기초 구성요소를 동시에 학습하기 위해 전역 최적화 기법을 적용하여 모델의 강건성을 향상시킨다.
• 5,825개의 웹 서비스와 339명의 사용자가 포함된 실세계 QoS 데이터셋을 사용해 모델를 훈련하고 평가한다.
• 특히 희박한 데이터 환경에서 과적합을 방지하기 위해 이웃 연결을 통한 정규화를 적용한다.
• MAE와 RMSE와 같은 표준 지표를 사용해 다양한 행렬 밀도와 상위-k 이웃 설정에서 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 전역 최적화를 통한 형식적 이웃 기반 모델이 기존의 히우리스틱 공동 필터링보다 QoS 예측에서 뛰어난 성능을 보일 수 있는가?
• RQ2 제안된 학습 기반 이웃 모델은 희박한 데이터에서 행렬 분해 대비 정확성과 강건성 측면에서 어떻게 비교되는가?
• RQ3 상위-k 이웃 선택은 다양한 데이터 희박성 수준에서 예측 성능에 어떤 영향을 미치는가?
• RQ4 행렬 밀도는 QoS 예측에서 이웃 기반 모델의 성능에 어떤 영향을 미치는가?
• RQ5 기존 방법보다 더 높은 예측 정확도를 달성하면서도 설명 가능성을 유지할 수 있는가?

주요 결과

• 제안된 학습 기반 이웃 기반 모델은 최신 기술들보다 뛰어난 성능을 보이며, 희박한 데이터와 밀도 높은 데이터 모두에서 낮은 MAE와 RMSE를 기록한다.
• 희박한 데이터(5% 행렬 밀도)에서, 모든 변종에서 RMSE 값이 1.65 이하로 떨어지며 NMF 및 기타 이웃 모델보다 뛰어난 성능을 보였다.
• 밀도가 높은 데이터(15% 밀도)에서는 NbModel2와 NbModel3의 RMSE가 k 증가에 따라 감소하여 k=80에서 최적 성능에 도달했다.
• MAE 지표는 k에 따라 U자형 곡선을 보이며, k=80에서 정확성과 과적합 위험 사이의 최적 균형을 이룬다.
• 사용자 유사성과 이웃 추론을 활용함으로써 행렬 분해의 블랙박스 방식과 달리 설명 가능성을 유지한다.
• 학습된 가중치를 가진 기초 구성요소(b_ui 등)는 특히 희박한 데이터 환경에서 예측 정확도를 크게 향상시킨다.