[논문 리뷰] A Generic Network Compression Framework for Sequential Recommender Systems

Yang Sun, Fajie Yuan외 4명|arXiv (Cornell University)|2020. 04. 21.

Recommender Systems and Techniques참고 문헌 40인용 수 8

한 줄 요약

이 논문은 순차적 추천 시스템(SRS)을 압축하기 위한 일반적인 프레임워크인 CpRec를 제안한다. 이는 임베딩 및 소프트맥스 행렬의 블록 단위 적응형 분해와 딥 네ural 네트워크 내 계층별 파라미터 공유를 활용한다. 이 방법은 실제 데이터셋에서 최대 4–8배의 모델 압축을 달성하며, 학습 및 추론 속도가 빨라지고 정확도는 유지되거나 향상된다.

ABSTRACT

Sequential recommender systems (SRS) have become the key technology in capturing user's dynamic interests and generating high-quality recommendations. Current state-of-the-art sequential recommender models are typically based on a sandwich-structured deep neural network, where one or more middle (hidden) layers are placed between the input embedding layer and output softmax layer. In general, these models require a large number of parameters (such as using a large embedding dimension or a deep network architecture) to obtain their optimal performance. Despite the effectiveness, at some point, further increasing model size may be harder for model deployment in resource-constraint devices, resulting in longer responding time and larger memory footprint. To resolve the issues, we propose a compressed sequential recommendation framework, termed as CpRec, where two generic model shrinking techniques are employed. Specifically, we first propose a block-wise adaptive decomposition to approximate the input and softmax matrices by exploiting the fact that items in SRS obey a long-tailed distribution. To reduce the parameters of the middle layers, we introduce three layer-wise parameter sharing schemes. We instantiate CpRec using deep convolutional neural network with dilated kernels given consideration to both recommendation accuracy and efficiency. By the extensive ablation studies, we demonstrate that the proposed CpRec can achieve up to 4$\sim$8 times compression rates in real-world SRS datasets. Meanwhile, CpRec is faster during training\inference, and in most cases outperforms its uncompressed counterpart.

연구 동기 및 목표

• 자원이 제한된 장치에 배포하기 어려운 큰 모델 크기 문제를 해결하기 위해 순차적 추천 시스템(SRS)의 모델 크기를 줄이기 위해.
• 메모리 소비를 줄이고 학습 및 추론 속도를 높이되, 추천 정확도를 훼손하지 않기 위해.
• 특정 아키텍처에 국한되지 않고 다양한 딥 러닝 기반 SRS 모델에 적용 가능한 일반적인 프레임워크를 개발하기 위해.
• 장꼬리 분포를 활용하고 은닉층 내 구조적 파라미터 공유를 통해 기존 압축 기법의 한계를 극복하기 위해.
• 하류 작업에 대해 잘 일반화되는 압축된 모델을 사전 학습함으로써 효율적인 전이 학습을 가능하게 하기 위해.

제안 방법

• SRS 내 항목의 장꼬리 분포를 활용하여 입력 임베딩 및 출력 소프트맥스 행렬의 블록 단위 적응형 분해를 적용하여 근사화한다.
• 근접 블록, 크로스 블록, 크로스 레이어의 세 가지 계층별 파라미터 공유 전략을 도입하여 딥 은닉층의 파라미터를 감소시킨다.
• 정확도와 효율성의 균형을 고려해, 확장된 컨volutional 신경망(예: NextItNet)을 기본 아키텍처로 사용한다.
• 블록 단위 분해와 계층별 공유를 통합한 유일한 프레임워크를 구성하여 최적의 압축과 성능을 달성한다. 이를 Bio-NextItNet으로 명명한다.
• 기타 SRS 모델(예: GRU4Rec)과의 통합이 가능하도록 모듈러하고 확장 가능한 프레임워크를 설계한다.
• Hit@20, MRR@5, HR@5와 같은 표준 지표를 사용해 실제 데이터셋에서 평가하며, 압축 및 속도에 대한 분석 실험을 실시한다.

실험 결과

연구 질문

• RQ1 임베딩 및 소프트맥스 행렬의 적응형 분해가 추천 정확도를 유지하면서 모델 크기를 크게 줄일 수 있는가?
• RQ2 다양한 계층별 파라미터 공유 전략이 SRS 모델의 딥 은닉층을 얼마나 효과적으로 압축하는가?
• RQ3 제안된 압축 프레임워크가 성능 저하 없이 학습 및 추론 속도를 얼마나 향상시키는가?
• RQ4 CpRec는 NextItNet 및 GRU4Rec와 같은 다양한 SRS 아키텍처에 일반화될 수 있는가?
• RQ5 압축된 모델은 기존의 전체 크기 모델에 비해 전이 학습 시나리오에서 성능을 유지하거나 향상시키는가?

주요 결과

• CpRec는 실제 SRS 데이터셋에서 최대 4–8배의 압축률을 달성하여 모델 크기를 크게 줄였다.
• 블록 단위 및 계층별 압축을 결합한 Bio-NextItNet 버전은 가장 높은 압축 비율을 기록했으며, 정확도와 학습 속도 모두 원본 NextItNet을 초월했다.
• 근접 블록 파라미터 공유 전략(As-NextItNet)은 정확도와 압축 사이의 최적의 균형을 이룩했으며, 파라미터를 50% 감소시키면서도 성능을 유지하거나 향상시켰다.
• 크로스 레이어 파라미터 공유 전략(Cl-NextItNet)은 가장 높은 압축률을 기록했지만, 정확도 저하가 심해 부적절한 균형을 이룬 것으로 나타났다.
• CpRec 기반 모델은 학습 및 추론 속도가 빨라, ColdRec에서 사전 학습 시간이 원본 모델의 약 1/5로 줄어들었다.
• 전이 학습에서 CpRec 기반 모델(예: CpRec-Ab)은 원본 NextItNet보다 MRR@5와 HR@5가 높았으며, 파라미터 수는 3150만(원본의 31%)에 불과했다.