[논문 리뷰] Towards Large Scale Training Of Autoencoders For Collaborative Filtering

Abdallah Moussawi|arXiv (Cornell University)|2018. 08. 30.

Speech and Audio Processing참고 문헌 2인용 수 5

한 줄 요약

이 논문은 대규모 협업 필터링에 음성 피드백을 사용하는 잠재 요인 오토인코더를 효율적으로 훈련하기 위해 미니배치 음성 샘플링 방법을 제안한다. 동일한 미니배치 내 다른 사용자들이 상호작용한 항목들만 샘플링함으로써, 훈련 시간을 O(|U|×|I|)에서 O(m×∑|I_u|)로 줄여 CPU 기준 2.3배 이상, GPU 기준 2.0배 이상의 속도 향상을 이뤘으며, 기준 성능에 비해 거의 손상 없이 (NDCG@100 기준 ≤3.72% 감소) 구현되었다.

ABSTRACT

In this paper, we apply a mini-batch based negative sampling method to efficiently train a latent factor autoencoder model on large scale and sparse data for implicit feedback collaborative filtering. We compare our work against a state-of-the-art baseline model on different experimental datasets and show that this method can lead to a good and fast approximation of the baseline model performance. The source code is available in https://github.com/amoussawi/recoder .

연구 동기 및 목표

• 대규모이고 희박한 사용자-아이템 상호작용 데이터에서 오토인코더 훈련의 계산 비효율성을 해결하기 위해.
• 훈련 중에 매우 희박하고 고차원적인 상호작용 벡터를 재구성하는 데 소요되는 시간 복잡도를 낮추기 위해.
• 대상 음성 샘플링을 통해 훈련 속도를 크게 향상시키면서도 높은 추천 성능를 유지하기 위해.
• 암시적 피드백을 가진 산업 규모의 데이터셋에서 비선형 오토인코더 모델의 확장 가능한 훈련을 가능하게 하기 위해.

제안 방법

• 모델은 사용자 상호작용 벡터에 다층 퍼셉트론(f_λ)을 적용하여 사용자 임베딩을 학습하고, 로지스틱 우도를 사용하는 재구성 헤드(g_θ)를 통해 재구성하는 딥 오토인코더 아키텍처를 사용한다.
• 음성 로그우도 손실은 로지스틱 우도를 최소화함으로써 계산된다: -∑ᵢ xᵤ log(g_θ(zᵤ)) - (1 - xᵤ) log(1 - g_θ(zᵤ)).
• 음성 샘플링은 전체 아이템 세트가 아닌, 동일한 미니배치 내 다른 사용자들이 상호작용한 아이템들만 대상으로 수행된다.
• 아이템 i에 대한 샘플링 확률은 P = min(|Uᵢ|/N, 1)로 계산되며, 여기서 N ≈ |U|/m 이므로, 샘플링은 인기 있는 아이템들 쪽으로 편향된다.
• 입력 드롭아웃과 인코더 및 디코더 파라미터에 대한 L2 가중치 감쇠를 통해 정규화가 적용된다.
• 큰 배치 크기에서 메모리 효율성을 확보하기 위해, 큰 희박한 배치를 더 작은 다룰 수 있는 미니배치로 분할하는 기능을 지원한다.

실험 결과

연구 질문

• RQ1 미니배치 음성 샘플링 전략이 오토인코더 기반 협업 필터링의 훈련 시간을 크게 줄일 수 있을까, 이로 인해 추천 품질이 손상되지 않을까?
• RQ2 동일한 미니배치 내 다른 사용자들이 상호작용한 항목들만 음성으로 샘플링하는 방식이 전체 아이템 세트에서의 음성 샘플링과 비교해 성능 및 확장성 측면에서 어떻게 다를까?
• RQ3 비선형 오토인코더 모델이 대규모 희박한 데이터에서 더 빠르게 훈련되면서도 최신 기준 모델의 성능을 어느 정도 근사할 수 있을까?
• RQ4 배치 크기의 선택이 음성 샘플링의 편향과 그로 인한 모델 일반화 능력에 어떤 영향을 미칠까?
• RQ5 매우 큰 데이터셋(예: 0.064% 희박성)에서도 효율성을 유지하면서 이 방법이 확장 가능한가?

주요 결과

• 모든 데이터셋에서 기준 모델 대비 CPU 기준 2.6배에서 3.32배, GPU 기준 2.1배에서 3.32배의 속도 향상을 달성했다.
• ML-20M에서 모델은 NDCG@100 0.4193을 기록했으며, 기준값(0.4212) 대비 0.45% 감소에 그쳤다.
• MSD-Large에서 모델은 NDCG@100 0.2945를 기록했으며, 기준값(0.3059) 대비 3.72% 감소했지만 GPU 기준 3.32배 빠른 속도로 훈련되었다.
• 500명의 사용자 배치에서 평균 입력 벡터 크기는 전체 아이템 세트 기준 98,485에서 18,740으로 감소하여 계산 부담이 크게 줄었다.
• 모델은 모든 데이터셋, 특히 가장 큰(MSD-Large) 데이터셋에서도 일관된 성능을 유지하여 희박성 증가에 대한 강건성을 입증했다.
• 교차 검증 결과, 배치 크기 500이 최적이었으며, 이보다 낮은 크기의 경우 몇 에포크 후 과적합 및 성능 저하가 발생했다.