[논문 리뷰] An Introduction to Matrix factorization and Factorization Machines in Recommendation System, and Beyond

Yuefeng Zhang|arXiv (Cornell University)|2022. 03. 12.

Matrix Theory and Algorithms인용 수 7

한 줄 요약

이 논문은 추천 시스템에서의 행렬 분해(MF)와 인자 분해 기계(FM)에 대한 종합적인 소개를 제공하며, 그 수학적 기초, 실용적 구현, 딥러닝과의 통합을 설명한다. SVD, 펑크-SVD, SVD++, FM, FFM, DeepFM 모델을 단계별 유도, 수치 예제, 계산 복잡도 분석을 통해 다루며, 명시적 피드백과 암시적 피드백을 효과적으로 다루는 데 성공함을 보여주며, 모델 효율성과 예측 정확성 간의 균형을 유지한다.

ABSTRACT

This paper aims at a better understanding of matrix factorization (MF), factorization machines (FM), and their combination with deep algorithms' application in recommendation systems. Specifically, this paper will focus on Singular Value Decomposition (SVD) and its derivations, e.g Funk-SVD, SVD++, etc. Step-by-step formula calculation and explainable pictures are displayed. What's more, we explain the DeepFM model in which FM is assisted by deep learning. Through numerical examples, we attempt to tie the theory to real-world problems.

연구 동기 및 목표

• 연구자 및 추천 시스템 분야의 전문가를 대상으로 행렬 분해(MF)와 인자 분해 기계(FM)에 대한 명확하고 단계적인 설명을 제공하기 위해.
• 수치 예제와 시각화 가능한 공식을 활용해 이론적 개념과 실제 응용을 연결하기 위해.
• MF 변종(SVD, 펑크-SVD, SVD++)과 FM 확장(FM, FFM, DeepFM)의 계산 복잡도 및 상호 간의 트레이드오프를 분석하기 위해.
• 딥러닝이 DeepFM 아키텍처를 통해 FM을 어떻게 향상시켜 고차원 특징 상호작용 모델링을 가능하게 하는지 보여주기 위해.
• 공간, 시간, 온라인 추론 효율성 측면에서 전통적인 공동 필터링 방법과 MF를 비교하기 위해.

제안 방법

• 낮은 질량 근사에 기반해 평점 행렬 완성에 사용되는 특이값 분해(SVD) 및 그 변종(Funk-SVD, SVD++)을 유도한다.
• 특징 간 이차 상호작용을 사용하고 특징 및 필드 간 공유된 파라미터를 갖는 인자 분해 기계(FM) 모델을 소개한다.
• 다른 특징-필드 조합 간의 상호작용을 더 잘 모델링하기 위해 각 특징-필드 쌍에 별도의 잠재 벡터를 할당함으로써 분야 인지 인자 분해 기계(FFM)를 제안한다.
• FM의 이차 상호작용과 딥 뉴럴 네트워크를 조합하여 고차원 특징 학습을 가능하게 하는 DeepFM 모델을 제안하며, 동일한 입력 임베딩을 공유한다.
• FM 및 DeepFM 모델의 엔드 투 엔드 학습을 위해 기울기 하강법에 모멘텀 기반 최적화(예: Adam 유사 프레임워크)를 적용한다.
• MF 및 FM에서의 행렬 분해, 예측 계산, 파라미터 갱신 과정을 설명하기 위해 수치 예제를 사용한다.

실험 결과

연구 질문

• RQ1 SVD, 펑크-SVD, SVD++는 매트릭스 완성에 어떤 방식으로 접근하며, 각각의 계산 트레이드오프는 무엇인가?
• RQ2 인자 분해 기계(FM) 모델의 수학적 구조는 무엇이며, 암시적 피드백과 고차원 희박 특징에 대해 어떻게 일반화되는가?
• RQ3 분야 인지 인자 분해 기계(FFM)는 특징-필드 상호작용을 모델링하여 FM에 비해 어떤 방식으로 향상되는가?
• RQ4 DeepFM 모델은 FM과 딥 뉴럴 네트워크를 어떻게 조합하여 추천 성능을 향상시키는가?
• RQ5 대규모 환경에서 MF 및 FM 기반 모델 학습의 핵심 최적화 전략과 복잡도 특성은 무엇인가?

주요 결과

• SVD 기반 방법은 공동 필터링의 $O(M^2)$ 또는 $O(N^2)$와 비교해 더 낮은 공간 복잡도 $O(F imes (M + N))$를 달성하여 메모리 효율성이 뛰어나다.
• 펑크-SVD와 SVD++는 사용자 및 아이템의 편향을 학습하고 암시적 피드백을 통합함으로써 표준 SVD를 향상시켜 예측 정확도를 향상시킨다.
• FM 모델은 이차 상호작용에 대해 $O(k imes n)$의 계산 복잡도를 가지며, 여기서 $k$는 잠재 차원, $n$은 특징의 수이다.
• FFM는 각 특징-필드 쌍에 대해 별도의 잠재 벡터를 사용함으로써 비유사한 특징 카테고리 간의 오분류 상관관계를 줄여 일반화 성능을 향상시킨다.
• DeepFM은 공유된 입력 임베딩을 통해 저차원(FM) 및 고차원(딥) 특징 상호작용을 동시에 학습함으로써 우수한 성능을 달성하며, 효과적인 CTR 예측이 가능하다.
• Adam(암시적으로 기술됨)과 같은 최적화 알고리즘은 적응적 학습률과 모멘텀 기반 기울기 갱신을 통해 FM 및 DeepFM의 안정적이고 효율적인 학습을 가능하게 한다.