[논문 리뷰] Multilayer tensor factorization with applications to recommender systems

Xuan Bi, Annie Qu외 1명|arXiv (Cornell University)|2017. 11. 05.

Tensor decomposition and applications인용 수 3

한 줄 요약

이 논문은 사용자, 항목, 맥락적 요인을 중첩된 잠재 구조를 통해 모델링하는 다층 텐서 분해 방법인 REM(다층 추천 엔진)을 제안한다. 하위 그룹 간 의존성과 최대 블록 개선 알고리즘을 통합함으로써 REM은 냉각기 문제를 효과적으로 해결하고, 1억 1600만 건의 관측치를 포함한 대규모 데이터에서 기존 방법들을 능가하는 성능을 달성한다. 시뮬레이션 및 실제 IRI 마케팅 데이터에서의 성능이 뛰어나다.

ABSTRACT

Recommender systems have been widely adopted by electronic commerce and entertainment industries for individualized prediction and recommendation, which benefit consumers and improve business intelligence. In this article, we propose an innovative method, namely the recommendation engine of multilayers (REM), for tensor recommender systems. The proposed method utilizes the structure of a tensor response to integrate information from multiple modes, and creates an additional layer of nested latent factors to accommodate between-subjects dependency. One major advantage is that the proposed method is able to address the "cold-start" issue in the absence of information from new customers, new products or new contexts. Specifically, it provides more effective recommendations through sub-group information. To achieve scalable computation, we develop a new algorithm for the proposed method, which incorporates a maximum block improvement strategy into the cyclic blockwise-coordinate-descent algorithm. In theory, we investigate both algorithmic properties for global and local convergence, along with the asymptotic consistency of estimated parameters. Finally, the proposed method is applied in simulations and IRI marketing data with 116 million observations of product sales. Numerical studies demonstrate that the proposed method outperforms existing competitors in the literature.

연구 동기 및 목표

• 신규 사용자, 신규 항목, 또는 신규 맥락이 충분한 역사적 데이터를 확보하지 못하는 추천 시스템의 냉각기 문제를 해결하기 위해.
• 다양한 사용자, 항목, 맥락 정보의 모드를 통합하는 확장 가능한 맥락 인식 텐서 분해 방법을 개발하기 위해.
• 다른 사용자 간의 의존성을 중첩된 잠재 요인 구조를 통해 모델링하여 신규 또는 희박한 대상에 대한 추천 정확도를 향상시키기 위해.
• 순환 블록좌표강하 프레임워크 내에서 새로운 최대 블록 개선 전략을 통해 알고리즘의 확장성과 수렴성을 보장하기 위해.
• 전역 및 국소 수렴, 파rameter 추정의 渐近 일致성에 대한 이론적 보장을 확립하기 위해.

제안 방법

• 모델은 사용자, 항목, 맥락 간의 계층적 의존성을 포착하기 위해 중첩된 잠재 요인을 가진 다층 구조로 텐서 반응을 모델링한다.
• 확장 가능한 계산을 위해 순환 블록좌표강하에 기반한 비볼록 최적화 프레임워크를 사용하며, 최대 블록 개선 전략으로 강화된다.
• 다중 모odal 데이터(예: 사용자, 항목, 시간, 위치)를 활용해 누락된 항목을 예측하는 텐서 완성 접근법을 통합한다.
• 모델 복잡도를 제어하고 이론적 수렴 속도를 유도하기 위해 헬링거 거리 기반의 엔트로피 분석을 사용한다.
• 고차원 텐서(3차 이상)를 처리할 수 있도록 설계되어, 다수의 맥락 변수 통합이 가능하다.
• 이론적 분석은 전역 및 국소 수렴, 渐近 일치성, 정규 조건 하에서 최적 수렴 속도에 대한 증명 포함.

실험 결과

연구 질문

• RQ1 하위 그룹 정보를 활용함으로써 다층 텐서 분해 모델이 추천 시스템의 냉각기 문제를 효과적으로 줄일 수 있는가?
• RQ2 제안된 최대 블록 개선 전략은 비볼록 텐서 최적화에서 수렴성과 확장성에 어떻게 기여하는가?
• RQ3 제안된 알고리즘의 이론적 수렴 행동은 어떠한가? 파rameter 추정에서 渐近 일치성을 달성하는가?
• RQ4 고차원적이고 희박한 텐서 구조를 가진 대규모 실세계 데이터에서 모델의 성능은 어떠한가?
• RQ5 예측 정확도와 강인성 측면에서 기존의 행렬 및 텐서 기반 추천 시스템을 능가할 수 있는가?

주요 결과

• 제안된 REM 방법은 시뮬레이션 연구와 1억 1600만 건의 관측치를 포함한 실제 IRI 마케팅 데이터 모두에서 기존 경쟁자들을 뛰어넘는 성능을 보였다.
• 하위 그룹 정보를 활용함으로써 냉각기 문제를 효과적으로 완화하여, 신규 사용자, 항목, 맥락에 대해서도 정확한 추천이 가능했다.
• 이론적 분석을 통해 최적화 알고리즘의 전역 및 국소 수렴성과 추정된 파rameter의 渐近 일치성이 확인되었다.
• 일부 정규 조건 하에서 최적 수렴 속도는 $ \varepsilon_{|\Omega|} \sim |\Omega|^{-1/2} $ 로 유도되었으며, 이는 강력한 통계적 효율성을 나타낸다.
• 최대 블록 개선 전략은 계산의 확장성을 향상시켜 대규모 텐서에서의 효율적 최적화를 가능하게 하였다.
• 전통적인 이차원 시스템을 초월해 다수의 맥락 변수를 통합함으로써 고차원 텐서에서 뛰어난 성능을 달성하였다.