[논문 리뷰] A Generic Coordinate Descent Framework for Learning from Implicit Feedback

Immanuel Bayer, Xiangnan He외 2명|arXiv (Cornell University)|2016. 11. 15.

Tensor decomposition and applications참고 문헌 23인용 수 5

한 줄 요약

이 논문은 추천 시스템에서 암묵적 피드백으로부터 효율적으로 학습하기 위한 일반적인 좌표 강하(CD) 프레임워크인 iCD를 소개한다. 저자들은 효율적 CD 최적화를 위한 충분조건로 k-분리 가능성(k-separability)을 규명함으로써, 수많은 미관측 상호작용에 대해 샘플링 없이 정확한 계산을 가능하게 하였다. 이는 기존 CD 대비 뚜렷한 속도 향상을 보이며, 인과 모델, 인과 분해 모델 등 복잡한 모델의 확장 가능한 학습을 가능하게 한다.

ABSTRACT

In recent years, interest in recommender research has shifted from explicit feedback towards implicit feedback data. A diversity of complex models has been proposed for a wide variety of applications. Despite this, learning from implicit feedback is still computationally challenging. So far, most work relies on stochastic gradient descent (SGD) solvers which are easy to derive, but in practice challenging to apply, especially for tasks with many items. For the simple matrix factorization model, an efficient coordinate descent (CD) solver has been previously proposed. However, efficient CD approaches have not been derived for more complex models. In this paper, we provide a new framework for deriving efficient CD algorithms for complex recommender models. We identify and introduce the property of k-separable models. We show that k-separability is a sufficient property to allow efficient optimization of implicit recommender problems with CD. We illustrate this framework on a variety of state-of-the-art models including factorization machines and Tucker decomposition. To summarize, our work provides the theory and building blocks to derive efficient implicit CD algorithms for complex recommender models.

연구 동기 및 목표

• 대규모 암묵적 피드백 데이터에서 복잡한 추천 모델을 최적화하는 데 있어 계산적 과제를 해결하며, 표준 방법인 SGD는 수렴 문제를 겪고, 기존 CD는 비현실적인 경우를 다루기 위해.
• 암묵적 피드백 문제에 대해 효율적 좌표 강하 최적화를 가능하게 하는 구조적 성질인 k-분리 가능성(k-separability)을 규명하기 위해.
• 행렬 분해 및 텐서 분해를 포함한 다양한 복잡한 모델에 대해 효율적 CD 솔버를 유도할 수 있는 일반 프레임워크인 iCD를 개발하기 위해.
• k-분리 가능성 모델이 모든 미관측 (컨텍스트, 아이템) 쌍을 반복하지 않고도 암묵적 정규화를 정확하게 계산할 수 있음을 입증하여 샘플링이 필요 없음을 보여주기 위해.
• 고차원 아이템 공간 또는 복잡한 특성 상호작용을 가진 모델에 대해 BPR과 같은 SGD 기반 방법의 실용적이고 확장 가능한 대안을 제공하기 위해.

제안 방법

• 모든 미관측 (컨텍스트, 아이템) 쌍에 대한 비용이 많이 드는 암묵적 정규화와 저렴한 명시적 손실의 최소화로 암묵적 피드백 학습을 재정의하기 위해.
• k-분리 가능성의 개념을 도입: 암묵적 정규화가 기울기 계산을 분리 가능한 구성요소로 분해함으로써 효율적으로 계산될 수 있는 모델 구조를 의미함.
• 모든 미관측 쌍을 명시적으로 반복하지 않고도 각 변수(예: 사용자 또는 아이템 요소)의 기울기와 업데이트를 계산할 수 있는 일반적인 iCD 알고리즘을 유도하기 위해.
• 행렬 분해, 인과 분해 모델 등 인과 모델의 대수적 성질을 활용하여 암묵적 정규화를 닫힌 형태로 표현할 수 있도록 하기 위해.
• MF, FM, PARAFAC, 그리고 터커 분해에 대해 k-분리 가능성 검증 및 해당 업데이트 규칙 유도를 통해 효율적 솔버를 유도하기 위해.
• 프레임워크를 활용해 사용자 속성, 순차적 특성 등을 포함한 유연하고 기능-rich 모델을 구축하고, iCD를 통해 효율적으로 학습하기 위해.

실험 결과

연구 질문

• RQ1 간단한 행렬 분해를 초과하는 복잡한 추천 모델에 대해 좌표 강하가 암묵적 피드백 학습에 효율적으로 적용될 수 있는가?
• RQ2 샘플링 없이도 모든 미관측 (컨텍스트, 아이템) 쌍에 대해 효율적 좌표 강하 최적화를 가능하게 하는 모델의 구조적 성질은 무엇인가?
• RQ3 고차원 아이템 공간을 가진 모델에 대해 암묵적 정규화를 정확하고 효율적으로 계산할 수 있는 방법은 무엇인가?
• RQ4 제안된 iCD 프레임워크는 기존 CD 및 SGD 기반 기준 대비 학습 속도와 모델 품질 측면에서 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ5 이 프레임워크는 인과 분해 모델 및 텐서 분해와 같은 다양한 모델에 대해 효율적 솔버를 유도하는 데 일반화될 수 있는가?

주요 결과

• iCD 프레임워크는 k-분리 가능성의 특성을 활용하여 암묵적 피드백 문제에 대해 정확하고 샘플링 없이 최적화를 가능하게 하여, 음성 샘플링이나 근사화가 필요 없음을 보여줌.
• 기존 CD 솔버는 대규모 암묵적 피드백에 대해 계산 비용이 너무 높아 비현실적이며, iCD는 표준 CD 대비 학습 시간을 최대 4개 지수 차수 감소시킴.
• 7만 개의 아이템을 포함한 데이터셋에서 기존 CD는 한 반복에 수주가 걸릴 정도였지만, iCD는 분 단위로 완료되어 실용적인 확장성을 입증함.
• 모든 기능(속성, 이전 영상, 사용자 ID 포함)을 갖춘 iCD-FM 모델이 냉각기준, 오프라인, 즉시 추천 시나리오 전반에서 최고의 성능을 기록함.
• 냉각기준 환경에서 속성 인식 FM 모델(iCD-FM A)은 인기 기준 모델 대비 2배 향상된 성능을 기록했으며, MF 및 Coview 모델은 인기 기준 모델을 초월하지 못함.
• 프레임워크를 통해 FM 모델에서의 기능 엔지니어링이 매우 민첩해지며, 사용자 속성, 순차적 행동, 사용자 ID를 조합함으로써 즉시 추천 환경에서 뛰어난 성능 향상을 이룸.