[논문 리뷰] Context-aware recommendations from implicit data via scalable tensor factorization

Balázs Hidasi, Domonkos Tikk|arXiv (Cornell University)|2013. 09. 29.

Recommender Systems and Techniques참고 문헌 29인용 수 7

한 줄 요약

이 논문은 음성 피드백 데이터를 사용한 맥락 인식 추천을 위한 확장 가능한 텐서 분해 방법인 iTALS를 제안한다. 이는 공액 그래디언트와 좌표 감소를 통한 교대 최소 제곱법(ALS)을 확장하여 훈련 속도를 향상시키며, 여섯 개의 데이터셋에서 최신 기술 수준의 성능을 달성하면서도 비제로 요소 수에 대해 선형 확장성을 유지한다.

ABSTRACT

Albeit the implicit feedback based recommendation problem - when only the user history is available but there are no ratings - is the most typical setting in real-world applications, it is much less researched than the explicit feedback case. State-of-the-art algorithms that are efficient on the explicit case cannot be automatically transformed to the implicit case if scalability should be maintained. There are few implicit feedback benchmark data sets, therefore new ideas are usually experimented on explicit benchmarks. In this paper, we propose a generic context-aware implicit feedback recommender algorithm, coined iTALS. iTALS applies a fast, ALS-based tensor factorization learning method that scales linearly with the number of non-zero elements in the tensor. We also present two approximate and faster variants of iTALS using coordinate descent and conjugate gradient methods at learning. The method also allows us to incorporate various contextual information into the model while maintaining its computational efficiency. We present two context-aware variants of iTALS incorporating seasonality and item purchase sequentiality into the model to distinguish user behavior at different time intervals, and product types with different repetitiveness. Experiments run on six data sets shows that iTALS clearly outperforms context-unaware models and context aware baselines, while it is on par with factorization machines (beats 7 times out of 12 cases) both in terms of recall and MAP.

연구 동기 및 목표

• 사용자 선호도가 명시적 평점이 아닌 클릭 또는 구매와 같은 행동으로 유추되는 음성 피드백에 대한 연구 부족을 해결한다.
• 시간적 및 행동적 맥락을 음성 피드백 모델링에 통합한 맥락 인식 추천을 위한 확장 가능하고 효율적인 방법을 개발한다.
• 기존의 ALS 기반 방법이 음성 피드백 환경에서 가지는 확장성 한계를 극복하기 위해 공액 그래디언트와 좌표 감소를 사용한 근사 학습 변종을 도입한다.
• 일련의 구매 패턴과 계절성과 같은 복잡한 사용자 행동 패턴을 통합된 텐서 분해 프레임워크 내에서 모델링할 수 있도록 한다.

제안 방법

• 사용자-아이템 상호작용을 세 번째 차원으로 맥락을 포함한 3차원 텐서로 모델링함으로써 음성 피드백을 처리할 수 있도록 확장된 텐서 분해 모델인 iTALS를 제안한다.
• 정규화를 포함한 가중 최소 제곱 목적 함수를 적용하여 사용자 및 아이템 잠재 요인을 학습하며, 음성 피드백은 양성 신호로 간주하고 재가중을 통해 암시적 음성 신호를 추론한다.
• 두 가지 근사 훈련 변종을 도입한다: 수렴 속도를 향상시키기 위한 공액 그래디언트 기반의 iTALS-CG와 좌표 감소 기반의 iTALS-CD로, 모두 비제로 요소 수에 대해 선형 확장성을 갖도록 설계되었다.
• 시간 기반 계절성(예: 일일/주간 패턴)과 아이템 반복성(예: 자주 구매되는 아이템 대비 일회성 구매 아이템)을 모델링하기 위해 맥락 기반 특징 공학을 활용하며, 이를 추가적인 텐서 모드로 인코딩한다.
• 대칭 텐서 분해 접근 방식을 사용하여 사용자, 아이템, 맥락 요인의 저랭크 표현을 학습하며, 예측은 해당 잠재 벡터의 내적 곱으로 계산한다.
• CG에서 이전 해의 상태를 재사용하고 조건부 조건을 적용함으로써 정확도를 유지하면서 훈련 시간을 단축시켜 ALS 대비 최대 50%의 속도 향상을 달성한다.

실험 결과

연구 질문

• RQ1 확장 가능한 텐서 분해 프레임워크가 음성 피드백 데이터에 효과적으로 적용될 수 있으며, 확장성과 정확도를 유지할 수 있는가?
• RQ2 공액 그래디언트와 좌표 감소와 같은 근사 최적화 방법이 음성 피드백 환경에서 ALS와 비교해 훈련 속도와 예측 성능 측면에서 어떻게 성능을 내는가?
• RQ3 계절성 및 순차적 구매 패턴과 같은 맥락 인식 모델링이 맥락 무시 모델 대비 추천 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 특히 재현율과 MAP 지표에서, iTALS는 음성 피드백 환경에서 최신 기술 수준의 모델인 인자화 기계(.factorization machines)와 경쟁할 수 있는가?
• RQ5 대규모 음성 피드백 환경에서 ALS, CG, CD와 같은 다양한 최적화 전략이 수렴 속도와 모델 안정성에 미치는 영향은 어떠한가?

주요 결과

• iTALS는 테스트한 여섯 개의 모든 데이터셋에서 맥락을 고려하지 않은 모델과 맥락 인식 베이스라인(iALS, iCA)보다 재현율@20 및 MAP@20에서 뚜렷한 성능 향상을 보였다.
• iTALS-CG 변종은 ALS 대비 최대 50% 빠른 훈련 속도를 기록하면서도 유사하거나 더 높은 정확도를 유지하여 가장 확장 가능하고 실용적인 선택이 되었다.
• 공액 그래디언트는 특히 고차원 환경에서 안정성과 정확도 측면에서 좌표 감소를 항상 능가했으며, 이는 이전 해의 상태를 재사용할 수 있기 때문이다.
• 모델은 맥락을 통한 사용자 행동 세분화를 효과적으로 포착한다: 계절성 모델링은 주기적인 사용 패턴을 구분하고, 순차성 모델링은 반복적 및 일회성 구매 아이템을 구분한다.
• iTALS는 음성 피드백에 특화된 모델임에도 불구하고, 재현율과 MAP에서 인자화 기계보다 12개의 경우 중 7개에서 승리하며 유사한 성능을 달성했다.
• 목적 함수에 재가중을 적용함으로써 자주 발생하는 상호작용에 더 높은 신뢰도를 할당함으로써 음성 피드백의 모호성을 완화하고 모델의 강건성을 향상시켰다.