[논문 리뷰] Infinite Recommendation Networks: A Data-Centric Approach

Noveen Sachdeva, Mehak Preet Dhaliwal외 2명|arXiv (Cornell University)|2022. 06. 03.

Machine Learning in Healthcare인용 수 10

한 줄 요약

이 논문은 무한 폭 자동에코더를 통해 신경 탄성 커널(Neural Tangent Kernel)를 이용한 닫힌 형식의 고표현력 협업 필터링을 구현하는 데이터 중심 추천 모델 ∞-AE를 소개한다. 또한 ∞-AE를 활용해 고밀도의 데이터 요약을 생성하는 미분 가능한 데이터 정제 프레임워크인 Distill-CF를 제안하며, 전체 데이터의 0.1%에 불과한 데이터로도 전체 데이터 성능의 96–105%를 달성함으로써 추천 시스템에서 데이터 품질이 데이터 양을 능가할 수 있음을 보여준다.

ABSTRACT

We leverage the Neural Tangent Kernel and its equivalence to training infinitely-wide neural networks to devise $\infty$-AE: an autoencoder with infinitely-wide bottleneck layers. The outcome is a highly expressive yet simplistic recommendation model with a single hyper-parameter and a closed-form solution. Leveraging $\infty$-AE's simplicity, we also develop Distill-CF for synthesizing tiny, high-fidelity data summaries which distill the most important knowledge from the extremely large and sparse user-item interaction matrix for efficient and accurate subsequent data-usage like model training, inference, architecture search, etc. This takes a data-centric approach to recommendation, where we aim to improve the quality of logged user-feedback data for subsequent modeling, independent of the learning algorithm. We particularly utilize the concept of differentiable Gumbel-sampling to handle the inherent data heterogeneity, sparsity, and semi-structuredness, while being scalable to datasets with hundreds of millions of user-item interactions. Both of our proposed approaches significantly outperform their respective state-of-the-art and when used together, we observe 96-105% of $\infty$-AE's performance on the full dataset with as little as 0.1% of the original dataset size, leading us to explore the counter-intuitive question: Is more data what you need for better recommendation?

연구 동기 및 목표

• 추천 시스템에서 거대하고 희박한 사용자-아이템 상호작용 데이터셋을 학습하는 데 발생하는 증가하는 계산 비용과 환경적 영향을 해결하기 위해.
• 데이터 크기를 늘리는 것이 아니라 체계적인 데이터 요약을 통해 데이터 품질을 향상시켜 모델 성능을 향상시키기 위해.
• 대규모이고 이질적이며 희박한 추천 데이터로부터 정보성 있고 일반적인 데이터 요약을 체계적으로 정제할 수 있는 확장 가능한, 미분 가능한 방법을 개발하기 위해.
• 고품질의 소형 데이터 요약이 전체 데이터셋을 초월할 수 있는지, 특히 노이즈가 있거나 계산 자원이 제한된 환경에서 성능을 높일 수 있는지 조사하기 위해.
• 전통적인 모델 아키텍처 개선을 뛰어넘어 데이터 중심 개선이 추천 성능 향상에 더 큰 영향을 미칠 수 있음을 입증하기 위해.

제안 방법

• 닫힌 형식의 해를 제공하는 무한 폭 자동에코더(∞-AE)를 훈련하기 위해 신경 탄성 커널(NTK)을 활용함으로써, 빠르고 표현력이 풍부하며 파rameter-free인 협업 필터링을 실현함.
• Distill-CF에서 이중 최적화 프레임워크 내에서 ∞-AE를 구성 요소로 활용함. 외부 루프는 미분 가능한 Gumbel-샘플링을 통해 데이터 요약 선택을 최적화함.
• 다단계의 미분 가능한 Gumbel-샘플링을 적용하여 데이터의 희박성, 이질성, 반구조화된 특성을 다루면서도 1억 건 이상의 상호작용을 포함한 데이터셋에까지도 확장 가능하도록 함.
• 내부 루프는 현재 데이터 요약에 대해 ∞-AE를 훈련시키고, 외부 루프는 기울기 기반 선택을 통해 요약을 업데이트하는 이중 목표를 활용함.
• 왜곡된 요약을 통해 학습된 모델가 전체 노이즈가 포함된 데이터셋으로 학습된 모델보다 성능이 뛰어나다는 점을 보여줌으로써, 정제 과정이 자동으로 노이즈 제거 효과를 가지며, 이는 강력한 노이즈 제거 효과를 나타냄.
• 다양한 후행 모델(예: EASE, MVAE)에 대해 재사용 가능한 요약의 일반성을 검증함. 이는 정제 과정을 재실행하지 않고도 다양한 모델에 대해 요약을 재사용할 수 있음을 의미함.

실험 결과

연구 질문

• RQ1 닫힌 형식의 해를 가진 무한 폭 자동에코더는 기존 최고 수준의 유한 폭 추천 모델보다 성능이 뛰어날 수 있는가?
• RQ2 미분 가능한 Gumbel-샘플링을 통한 데이터 정제 과정을 통해 생성된 요약은 컴팩트하면서도 후행 모델 훈련에 매우 유용한 정보를 담고 있는가?
• RQ3 전체 데이터셋의 0.1%에 해당하는 정제된 요약으로 학습된 모델이 전체 데이터셋으로 학습된 모델와 유사한 성능을 달성할 수 있는가?
• RQ4 데이터 정제 과정 자체가 노이즈 제거 효과를 가지며, 정제된 데이터로 학습된 모델이 전체 노이즈가 포함된 데이터셋으로 학습된 모델보다 성능이 뛰어나게 되는가?
• RQ5 정제된 데이터 요약은 정제 파이프라인을 재실행하지 않고도 다양한 후행 모델에 일반적으로 재사용 가능한가?

주요 결과

• ∞-AE는 단일 완전 연결 층과 단일 하이퍼파ram터만을 사용하여 네 가지 벤치마크 데이터셋에서 최고 성능을 기록하며, 닫힌 형식의 해를 제공함.
• Distill-CF는 원본 데이터셋보다 2~3개의 주기수 작아진 데이터 요약을 생성하면서도, 전체 데이터셋에서 ∞-AE의 성능을 96–105% 유지함.
• 원본 데이터에 노이즈가 포함된 경우, 정제된 요약으로 학습된 모델이 전체 데이터셋으로 학습된 모델보다 성능이 뛰어나며, 강력한 노이즈 제거 효과를 입증함.
• 정제된 요약은 보편적으로 효과적임: EASE나 MVAE와 같은 모델이 정제된 요약으로 학습해도 정제 과정에 참여하지 않은 모델이 전체 데이터셋으로 학습한 성능과 유사한 성능을 달성함.
• ∞-AE와 Distill-CF의 조합은 고정밀도이면서 저비용의 추천 파이프라인을 가능하게 하며, Distill-CF는 수억 건 이상의 상호작용을 포함한 데이터셋까지도 확장 가능함.