[논문 리뷰] Matrix Completion on Graphs

Vassilis Kalofolias, Xavier Bresson외 2명|arXiv (Cornell University)|2014. 08. 07.

Sparse and Compressive Sensing Techniques참고 문헌 22인용 수 147

한 줄 요약

이 논문은 낮은 질서의 행렬 복원 프레임워크에 행과 열 간의 그래프 구조적 유사성 정보를 통합하는 새로운 행렬 완성 방법을 제안한다. 라플라시안 정규화를 통해 사용자 및 항목 그래프에서 부드러움을 강제함으로써, 특히 관측이 희박한 상황에서 복원 정확도가 향상되며, Movielens-10M과 같은 실제 추천 데이터셋에서 표준 핵자연수 최소화보다 뛰어난 성능을 보인다.

ABSTRACT

The problem of finding the missing values of a matrix given a few of its entries, called matrix completion, has gathered a lot of attention in the recent years. Although the problem under the standard low rank assumption is NP-hard, Candès and Recht showed that it can be exactly relaxed if the number of observed entries is sufficiently large. In this work, we introduce a novel matrix completion model that makes use of proximity information about rows and columns by assuming they form communities. This assumption makes sense in several real-world problems like in recommender systems, where there are communities of people sharing preferences, while products form clusters that receive similar ratings. Our main goal is thus to find a low-rank solution that is structured by the proximities of rows and columns encoded by graphs. We borrow ideas from manifold learning to constrain our solution to be smooth on these graphs, in order to implicitly force row and column proximities. Our matrix recovery model is formulated as a convex non-smooth optimization problem, for which a well-posed iterative scheme is provided. We study and evaluate the proposed matrix completion on synthetic and real data, showing that the proposed structured low-rank recovery model outperforms the standard matrix completion model in many situations.

연구 동기 및 목표

• 사용자 및 항목 간의 근접성 그래프로부터의 구조적 정보를 통합함으로써 낮은 질서의 행렬 완성 성능을 향상시키기 위해.
• 희박하고 균일하지 않은 샘플링으로 인한 표준 행렬 완성의 한계를 해결하기 위해.
• 협업 필터링(낮은 질서 가정)과 콘텐츠 기반 필터링(그래프 기반 유사성)을 하나의 볼록 최적화 프레임워크로 통합하기 위해.
• 다양체의 부드러움을 활용하여 일반화 성능을 향상시키는 강력하고 확장 가능한 알고리즘 개발을 위해.
• 합성 및 실제 데이터에서의 방법 검증을 통해 관측 수가 적은 상황에서의 우수성을 입증하기 위해.

제안 방법

• 이 방법은 핵자연수 최소화와 그래프 라플라시안 정규화를 조합한 볼록 최적화 문제로 행렬 완성을 공식화한다.
• 디리클레 에너지(라플라시안 기반 정규화)를 사용하여 사용자 및 항목 그래프에서 복원된 행렬의 부드러움을 강제한다.
• 교차 최적화 방법(ADMM)을 통해 핵자연수 프록시 갱신과 선형 시스템 해법을 번갈아 적용하여 최적화를 해결한다.
• 사용자 및 항목 특징에 기반한 지수 커널 기반의 유사도 함수를 사용하여 그래프를 구성하며, 에프실론 이웃 또는 k-NN를 통한 적응형 근접성 선택을 수행한다.
• 거리 기반 전이 함수를 사용하여 그래프 간선의 가중치를 조정함으로써 관련 있는 근접성만 정규화에 기여하도록 보장한다.
• 성능 평가를 위해 고정된 테스트 세트에서 성능을 평가하면서, 다양한 크기의 훈련 세트에서 5겹 교차 검증을 통해 파라미터 선택을 수행한다.

실험 결과

연구 질문

• RQ1 사용자 및 항목 간의 그래프 구조적 유사성 정보를 통합하면 희박한 관측 조건에서 행렬 완성 성능이 향상되는가?
• RQ2 제안된 그래프 정규화가 낮은 질서의 행렬 모델이 표준 핵자연수 최소화와 비교해 복원 오차 측면에서 어떻게 성능을 내는가?
• RQ3 그래프가 불완전하거나 균일하지 않게 샘플링된 경우에도 모델이 강건한가?
• RQ4 어떤 관측 희박 수준에서 그래프 정규화가 가장 큰 이점을 제공하는가?
• RQ5 협업 필터링과 콘텐츠 기반 필터링을 통합 최적화 프레임워크로 효과적으로 융합할 수 있는가?

주요 결과

• Movielens-10M 데이터에서, 핵자연수와 그래프 정규화를 병행 적용한 제안된 방법(빨간 선)은 표준 핵자연수(파란 선)와 그래프 전용 정규화(초록 선)를 모두 초월하여 대부분의 관측 수준에서 뛰어난 성능을 보였다.
• 1%의 관측 항목에서 그래프 전용 정규화가 가장 우수한 성능을 보였으며, 이는 데이터가 극도로 희박할 경우 핵자연수 항목이 덜 유익할 수 있음을 시사한다.
• 32%의 관측 항목에서 표준 핵자연수 방법은 병합된 모델의 성능과 유사해졌으며, 이는 높은 데이터 밀도에서 그래프 정규화의 수혜가 감소함을 나타낸다.
• 제안된 모델의 복원 오차는 Movielens-10M에서 1.1 별 RMS 이하로 유지되어 사용자 평점 예측의 높은 정확도를 보였다.
• 비균일한 샘플링과 불완전한 그래프 구축 조건에서도 모델은 강건성을 유지하며, 열악한 그래프 조건에서도 뛰어난 성능을 유지했다.
• 관측 수가 적을 경우 표준 행렬 완성보다 방법이 크게 뛰어나며, 제한된 사용자 평점이 존재하는 실제 추천 시스템에서의 가치를 입증했다.