[논문 리뷰] Matrix Factorization with Side and Higher Order Information.

Vatsal Shah, Nikhil Rao외 1명|arXiv (Cornell University)|2017. 05. 04.

Sparse and Compressive Sensing Techniques참고 문헌 23인용 수 5

한 줄 요약

이 논문은 관측된 행렬의 비선형 변환을 통해 그래프에서의 무작위 보행을 통한 암묵적 고차원 정보를 활용하는 새로운 행렬 분해 방법을 제안한다. 이 방법은 여러 데이터셋에서 표준 행렬 분해 및 명시적 보조 정보를 사용하는 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

The problem of predicting unobserved entries of a partially observed matrix has found wide applicability in several areas, such as recommender systems, computational biology, and computer vision. Many scalable methods with rigorous theoretical guarantees have been developed for algorithms where the matrix is factored into low-rank components, and embeddings are learned for the row and column variables. While there has been recent research on incorporating explicit side information in the low-rank matrix factorization setting, often implicit information can be gleaned from the data, via higher order interactions among variables. In this paper, we design a method to make use of this implicit information, via random walks on graphs. We show that the problem we intend to solve can be cast as factoring a nonlinear transform of the (partially) observed matrix and develop an efficient coordinate descent based algorithm for the same. Experiments on several datasets show that the method we propose outperforms vanilla matrix factorization, and also those methods that use explicitly available side information.

연구 동기 및 목표

• 쌍별 관계를 초월하여 변수 간의 복잡한 암묵적 상호작용을 포착하는 데에 표준 행렬 분해의 한계를 해결하기 위해.
• 명시적으로 제공된 보조 정보에만 의존하지 않고, 데이터에서 암묵적으로 유도된 고차원 구조적 정보를 통합하기 위해.
• 관측된 행렬의 비선형 변환을 인수분해하기 위한 효율적인 최적화 프레임워크를 개발하기 위해.
• 특히 명시적 보조 정보가 제한된 상황에서 행렬 완성 작업의 예측 정확도를 향상시키기 위해.

제안 방법

• 관측된 행렬의 원소들로부터 그래프를 구축하고, 행과 열 간의 고차원 관계를 포착하기 위해 무작위 보행을 수행한다.
• 이러한 무작위 보행에서 유도된 전이 확률을 기반으로 관측된 행렬에 비선형 변환을 적용한다.
• 변환된 행렬은 행과 열의 저랭크 임bedding을 학습하기 위해 좌표 강하 알고리즘을 사용하여 인수분해된다.
• 최적화 과정은 그래프에서 유도된 비선형 구조를 유지하면서 행과 열의 임베딩을 번갈아가며 업데이트한다.
• 명시적 보조 기능이 필요 없이 암묵적으로 고차원 상호작용을 인코딩함으로써 모델의 표현력을 향상시킨다.

실험 결과

연구 질문

• RQ1 행렬 요소들 간의 암묵적 고차원 상호작용이 행렬 분해 성능을 향상시킬 수 있는가?
• RQ2 데이터 유도 그래프에서의 무작위 보행이 고차원 구조적 패턴을 효과적으로 인코딩할 수 있는가?
• RQ3 암묵적인 구조적 정보를 통합하면 표준 행렬 분해보다 더 높은 예측 정확도를 달성할 수 있는가?
• RQ4 제안된 방법은 명시적으로 제공된 보조 정보를 사용하는 모델과 비교해 어떻게 성능을 냈는가?

주요 결과

• 제안된 방법은 다양한 실세계 데이터셋에서 바닐라 행렬 분해보다 뛰어난 예측 정확도를 달성한다.
• 명시적으로 제공된 보조 정보에만 의존하는 방법보다도 성능이 뛰어나, 암묵적 고차원 구조의 가치를 입증한다.
• 무작위 보행 기반의 비선형 변환은 표준 저랭크 인수분해가 모델링하지 못하는 복잡한 상호작용을 효과적으로 포착한다.
• 좌표 강하 알고리즘이 효율적인 최적화를 보장하여 대규모 행렬에 대한 확장성도 확보한다.