[논문 리뷰] Robust Cost-Sensitive Learning for Recommendation with Implicit Feedback

Peng Yang, Peilin Zhao외 2명|arXiv (Cornell University)|2017. 07. 03.

Sparse and Compressive Sensing Techniques참고 문헌 30인용 수 4

한 줄 요약

이 논문은 공통적인 선호도를 위한 저랭크 성분과 사용자별 이상치를 위한 희소 성분으로 사용자-아이템 행렬을 분해하는 강건한 비용감수성 행렬 분해 프레임워크를 제안한다. 비용감수성 학습을 통해 클래스 불균형 문제를 다루며, 이론적으로 강력한 경계를 확보하고, 벤치마크 데이터셋에서 F-score 및 NDCG 메트릭에서 최신 기준 기반 방법들을 능가한다.

ABSTRACT

Recommendation is the task of improving customer experience through personalized recommendation based on users' past feedback. In this paper, we investigate the most common scenario: the user-item (U-I) matrix of implicit feedback. Even though many recommendation approaches are designed based on implicit feedback, they attempt to project the U-I matrix into a low-rank latent space, which is a strict restriction that rarely holds in practice. In addition, although misclassification costs from imbalanced classes are significantly different, few methods take the cost of classification error into account. To address aforementioned issues, we propose a robust framework by decomposing the U-I matrix into two components: (1) a low-rank matrix that captures the common preference, and (2) a sparse matrix that detects the user-specific preference of individuals. A cost-sensitive learning model is embedded into the framework. Specifically, this model exploits different costs in the loss function for the observed and unobserved instances. We show that the resulting non-smooth convex objective can be optimized efficiently by an accelerated projected gradient method with closed-form solutions. Morever, the proposed algorithm can be scaled up to large-sized datasets after a relaxation. The theoretical result shows that even with a small fraction of 1's in the U-I matrix $M\in\mathbb{R}^{n imes m}$, the cost-sensitive error of the proposed model is upper bounded by $O(\fracα{\sqrt{mn}})$, where $α$ is a bias over imbalanced classes. Finally, empirical experiments are extensively carried out to evaluate the effectiveness of our proposed algorithm. Encouraging experimental results show that our algorithm outperforms several state-of-the-art algorithms on benchmark recommendation datasets.

연구 동기 및 목표

• 기존 추천 방법이 엄격한 저랭크 구조를 가정하고 비대칭적 오분류 비용을 忽시한다는 한계를 해결하기 위해.
• 암시적 피드백 행렬에서 양성 상호작용이 희소한 상황에서 사용자별 이상치를 동시에 탐지하고 클래스 불균형을 다루기 위해.
• 강건한 행렬 분해와 비용감수성 학습을 통합하여 추천 정확도를 햖스키는 통합 프레임워크를 개발하기 위해.
• 희소 양성 피드백 설정에서 비용감수성 오차에 대한 이론적 경계를 확보하기 위해.
• 이론적 수렴 보장을 유지하면서도 대규모 데이터셋에 효율적으로 스케일링할 수 있도록 최적화 문제를 완화하기 위해.

제안 방법

• 사용자-아이템 행렬 $M$을 공통 사용자 선호도를 위한 저랭크 행렬 $M - V$ 와 개인별 행동을 위한 희소 행렬 $V$ 로 분해한다.
• 저랭크 성분에 트레이스 노름 정규화를 적용하여 저랭크 구조를 강제하고, 희소 성분에 핵심 노름 정규화를 적용하여 희소성을 촉진한다.
• 관측된 (1) 및 미관측된 (0) 항목에 서로 다른 손실 가중치를 할당하여 비용감수성 학습 모델을 통합함으로써 비대칭 오류 비용을 반영한다.
• 비부드러운 볼록 목적함수를 가속화된 투영 경사하강법으로 최적화하며, 두 성분 모두에 대해 닫힌 형태의 갱신을 제공한다.
• 수렴 보장을 유지하면서도 대규모 데이터셋에 대한 확장성을 확보하기 위해 최적화 문제를 완화한다.
• 저랭크 및 희소 성분의 최적화를 분리하기 위해 선형화된 프락시멀 방법을 사용하여 효율적인 반복적 갱신을 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합 프레임워크는 암시적 피드백 행렬에서 공통 사용자 선호도와 개인별 이상치를 동시에 모델링할 수 있는가?
• RQ2 암시적 피드백에서 심각한 클래스 불균형이 존재할 경우 비용감수성 학습은 추천 성능을 어떻게 향상시키는가?
• RQ3 희소 피드백 설정에서 비용감수성 오차에 대해 확립할 수 있는 이론적 경계는 무엇인가?
• RQ4 제안된 방법은 정확도를 희생시키지 않고 대규모 추천 데이터셋에 효율적으로 스케일링할 수 있는가?
• RQ5 저랭크 및 희소 성분으로의 분해가 표준 저랭크 행렬 분해보다 더 나은 일반화 성능을 제공하는가?

주요 결과

• 제안된 알고리즘은 $O(\alpha / \sqrt{mn})$ 의 비용감수성 오차 상한을 확보한다. 여기서 $\alpha$ 는 불균형 클래스에 대한 편향을 측정하는 값이다.
• MovieLens-100K 데이터셋에서 F-score@5 는 기준값 0.2131 에서 0.2172 로 향상되었고, NDCG@15 는 0.7193 에서 0.7323 으로 상승했다.
• 더 큰 MovieLens-1M 데이터셋에서 F-score@5 는 0.1726 에서 0.1805 로 상승했고, NDCG@15 는 0.6524 에서 0.6716 으로 향상되었다.
• 다양한 평가 지표에서 다수의 최신 기준 기반 방법들을 능가하며, 추천 품질 향상의 일관성 있는 성과를 보였다.
• 이론적 분석을 통해 관측된 항목의 비율이 작더라도 $\sqrt{mn}$ 이 충분히 크다면 정확한 행렬 복원이 가능하다고 확인했다.
• 닫힌 형태의 해를 갖는 가속화된 투영 경사하강법은 효율적인 최적화를 가능하게 하여 대규모 데이터셋에 대한 확장성을 지원한다.