[논문 리뷰] Incremental Factorization Machines for Persistently Cold-starting Online Item Recommendation

Takuya Kitazawa|arXiv (Cornell University)|2016. 07. 11.

Recommender Systems and Techniques참고 문헌 9인용 수 9

한 줄 요약

이 논문은 동적 온라인 아이템 추천 환경에서 지속적인 냉시작 문제를 다루기 위해 정적 인자분해기계(FM)를 확장한 인크리멘탈 인자분해기계(iFM)를 제안한다. 실시간 파rameter 업데이트와 양성 피드백만을 활용하며, 적응형 정규화를 통해 정적 모델과 인크리멘탈 행렬분해보다 뛰어난 정확도를 달성한다. 특히 사용자 선호도의 변화와 일시적인 아이템이 존재하는 상황에서 뛰어난 성능을 보인다.

ABSTRACT

Real-world item recommenders commonly suffer from a persistent cold-start problem which is caused by dynamically changing users and items. In order to overcome the problem, several context-aware recommendation techniques have been recently proposed. In terms of both feasibility and performance, factorization machine (FM) is one of the most promising methods as generalization of the conventional matrix factorization techniques. However, since online algorithms are suitable for dynamic data, the static FMs are still inadequate. Thus, this paper proposes incremental FMs (iFMs), a general online factorization framework, and specially extends iFMs into an online item recommender. The proposed framework can be a promising baseline for further development of the production recommender systems. Evaluation is done empirically both on synthetic and real-world unstable datasets.

연구 동기 및 목표

• 사용자와 아이템이 시간이 지남에 따라 자주 변화하는 실세계 추천 시스템에서 지속적인 냉시작 문제를 해결한다.
• 동적으로 변화하는 사용자 선호도와 아이템 특성에 대응하지 못하는 정적 인자분해기계(FM)와 행렬분해(MF)의 한계를 극복한다.
• 최소한의 지연과 높은 개념 드프트 적응성을 갖춘 인크리멘탈 모델 업데이트를 지원하는 온라인 학습 프레임워크를 개발한다.
• 계산적으로 실용적인 생산 시스템에서 구현 가능한 유연한 특성 표현 방식을 활용해 맥락 인식 추천을 가능하게 한다.

제안 방법

• 고차원적이고 희박한 특성 벡터를 처리할 수 있도록 인크리멘탈 행렬분해(iMF)를 인자분해기계(FM)로 일반화하여 온라인 학습 체계를 확장한다.
• 양성 피드백 이벤트에만 한 번의 패assing 학습을 수행하는 확률적 경사하강법(SGD)을 적용하여 빠른 인크리멘탈 파rameter 업데이트를 가능하게 한다.
• 온라인 학습 중에 자동으로 정규화 파ram터를 조정하는 인크리멘탈 적응형 정규화를 도입하여 과적합을 방지한다.
• 사용자 및 아이템의 특성을 ID, 인구통계학적 정보, 아이템 정보, 장르, 시간적 특성(예: 요일, 마지막 평가일 등)을 포함한 복합 벡터로 표현한다.
• 잠재 벡터 간 내적을 통해 예측을 계산하고, 쌍방향 특성 상호작용을 명시적으로 모델링하는 인자분해기계 모델을 사용한다.
• 온라인 SGD를 사용하여 FM 목적 함수를 최적화하며, 학습률 스케줄링과 L2 정규화를 적용하여 스트리밍 데이터 환경에서 수렴성과 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 인자분해기계의 온라인 확장이 실세계 추천 시스템에서 지속적인 냉시작 문제를 효과적으로 다룰 수 있는가?
• RQ2 개념 드프트 상황에서 인크리멘탈 FM(iFM)은 정적 FM과 인크리멘탈 MF(iMF)에 비해 추천 정확도에서 어떤가?
• RQ3 풍부한 특성 표현 방식을 활용한 맥락 인식 모델링이 동적 추천 환경에서 성능 향상에 얼마나 기여하는가?
• RQ4 온라인 추천 시스템에서 모델의 표현력(맥락 인식성)과 계산 효율성 사이의 상호 교환 관계는 어떠한가?
• RQ5 스트리밍 환경에서의 인크리멘탈 학습 동안 적응형 정규화가 모델의 강인성 향상에 기여하는가?

주요 결과

• iFMs는 특히 ML100k 데이터셋에서 정적 FMs와 iMFs보다 평균 정밀도-재현율(MPR)에서 뚜렷한 우월성을 보였으며, MPR는 34.26(±1.429)를 기록한 반면 iMF는 30.12에 머물렀다.
• 아이템 측면의 냉시작을 시뮬레이션한 합성 클릭 데이터에서 iFMs는 광고 규칙 변경 후에도 높은 재현율을 유지했고, 정적 모델은 급격히 감소함을 확인하여 개념 드프트에 대한 뛰어난 적응성을 입증했다.
• iFMs는 사용자당 최소 30ms의 추천 지연과 밀리초 수준의 파rameter 업데이트를 달성하여 실사용 환경의 요구 조건을 충족시켰다.
• MF보다 100배 이상 높은 계산 비용이 존재하지만, 효율적인 온라인 학습과 인크리멘탈 업데이트 덕분에 생산 환경에서의 구현 가능성이 유지되었다.
• iFMs에서 맥락 인식성과 온라인 학습의 조합은 정적 모델보다 더 우수한 일반화 성능을 보였으며, 정적 FMs와 MFs가 유사한 재현율 행동을 보일지라도 여전히 뛰어난 성능을 기록했다.
• iFMs에서의 적응형 정규화는 데이터 분포 변화에 동적으로 대응함으로써 고드프트 환경에서 특히 안정성과 성능 향상에 기여했다.