[논문 리뷰] RaFM: Rank-Aware Factorization Machines

Xiaohong Chen, Yin Zheng외 3명|arXiv (Cornell University)|2019. 05. 18.

Machine Learning and ELM인용 수 4

한 줄 요약

RaFM는 쌍방향 상호작용을 모델링하기 위해 특성별 임bedding 랭크를 할당하는 랭크 인식 인공기반 인과모델을 제안한다. 이는 빈도가 다양하고 희소한 데이터셋에서 성능을 향상시키며, 활성 요소를 동적으로 관리함으로써 계산 및 저장 비용을 줄여 전통적인 FMs보다 효율적인 학습과 추론을 가능하게 한다. 결과적으로 고정 랭크 FMs와 비교해도 성능이 유사하거나 뛰어나다.

ABSTRACT

Factorization machines (FM) are a popular model class to learn pairwise interactions by a low-rank approximation. Different from existing FM-based approaches which use a fixed rank for all features, this paper proposes a Rank-Aware FM (RaFM) model which adopts pairwise interactions from embeddings with different ranks. The proposed model achieves a better performance on real-world datasets where different features have significantly varying frequencies of occurrences. Moreover, we prove that the RaFM model can be stored, evaluated, and trained as efficiently as one single FM, and under some reasonable conditions it can be even significantly more efficient than FM. RaFM improves the performance of FMs in both regression tasks and classification tasks while incurring less computational burden, therefore also has attractive potential in industrial applications.

연구 동기 및 목표

• 특성의 발생 빈도가 매우 다양할 경우 표준 인공기반 인과모델(FMs)의 성능 저하 문제를 해결하기 위해.
• 희귀 특성에 대한 과적합과 빈번한 특성에 대한 과소적합을 줄이기 위해 특성별 임베딩 랭크를 허용하기 위해.
• 특성당 다수의 랭크를 사용하더라도 계산 및 저장 효율성을 유지하기 위해.
• 비활성 요소를 효율적으로 처리하고 수렴 보장하는 학습 알고리즘 개발을 위해.
• 공개 및 산업 규모 데이터셋에서 뛰어난 성능과 효율성을 입증하기 위해.

제안 방법

• RaFM는 각 특성에 대해 서로 다른 랭크를 가진 다수의 임베딩 벡터를 할당하며, 최대 랭크는 특성 빈도에 의해 결정된다.
• 쌍방향 상호작용은 랭크별 내적의 합으로 모델링된다: $\left<\mathcal{V}_i, \mathcal{V}_j\right> = \sum_{k=1}^{k_i} \bm{v}_i^{(k)} \cdot \bm{v}_j^{(k)}$.
• 많은 고랭크 성분이 비활성(특성이 0일 때 0이 되는)임을 활용하여 효율적인 저장 및 평가를 가능하게 한다.
• 비활성 요소를 저장하거나 업데이트하지 않는 통합 학습 알고리즘을 제안하여 계산 오버헤드를 줄인다.
• 합리적인 가정 하에 훈련 오차의 유계성과 수렴 속도를 이론적으로 증명한다.
• 희소성 대응을 위해 FTRL을 사용하고, 산업 환경에서의 확장성을 위해 분산 학습을 구현한다.

실험 결과

연구 질문

• RQ1 특성 빈도가 극단적으로 편향된 데이터셋에서 특성별로 다른 임베딩 랭크를 할당함으로써 인공기반 인과모델이 성능을 향상시킬 수 있는가?
• RQ2 고정 랭크를 사용하는 표준 FMs와 비교해 동일하거나 향상된 효율성을 유지할 수 있는가?
• RQ3 다중 랭크 임베딩에서 비활성 및 활성 요소를 동적으로 관리함으로써 모델 크기 감소와 빠른 학습이 가능할 수 있는가?
• RQ4 제안된 학습 알고리즘이 과도한 파rameter로 인한 과적합을 피하면서도 효율적으로 수렴할 수 있는가?
• RQ5 실제 세계 및 산업 규모 데이터셋에서 DiFacto 및 MRMA와 같은 기존 방법과 비교해 RaFM의 성능과 계산 비용은 어떠한가?

주요 결과

• ML 10M, ML 20M, AMovie에서 RaFM은 로그손실을 1%~2% 향상시키며, Frappe에서는 15% 향상시켰다. 통계적으로 유의미한 개선이다.
• Criteo 데이터셋에서 RaFM은 로그손실을 0.002 감소시켰으며, 실용적으로 의미 있는 기준인 0.001을 초월했다.
• 공개 데이터셋에서 RaFM은 표준 FM 대비 모델 크기를 20%~66%로 줄였고, 학습 시간은 24%~95%로 감소시켰다.
• 17억 건의 레코드와 1억 2천만 개의 특성을 가진 산업용 CTR 데이터셋에서, RaFM은 모델 크기가 1.55배에 불과한 반면 LR 대비 AUC를 약 1% 향상시켰고, FM은 7배의 모델 크기를 요구했다.
• FM 대비 모델 크기를 22% 줄였지만 AUC 성능은 동일하거나 이를 초월하여 효율-정확도 트레이드오프에서 뛰어난 성능을 입증했다.
• 학습 알고리즘은 오차의 유계성과 수렴을 보장하며, 비활성 요소는 계산 및 파rameter 업데이트에서 제외되어 효율적인 학습이 가능하다.