[논문 리뷰] Adaptive Dense-to-Sparse Paradigm for Pruning Online Recommendation System with Non-Stationary Data

Mao Ye, Dhruv Choudhary외 7명|arXiv (Cornell University)|2020. 10. 16.

Recommender Systems and Techniques참고 문헌 59인용 수 6

한 줄 요약

이 논문은 비정상적인 데이터 분포 변화에 대응하는 온라인 추천 시스템을 위해 새로운 밀도-희소성(Dense-to-Sparse, D2S) 패러다임과 적응형 프루닝 알고리즘(AUX)을 제안한다. 지속적인 적응을 위해 밀도 모델을 유지하고 기울기와 크기를 고려한 프루닝 전략을 사용함으로써, 분포 이동 동안 정확도 손실을 최소화하면서도 수동 조정을 최소화한 동적 레이어별 희소성 학습이 가능해지며, 효율적이고 수요에 맞는 희소 모델 생성이 가능해진다.

ABSTRACT

Large scale deep learning provides a tremendous opportunity to improve the quality of content recommendation systems by employing both wider and deeper models, but this comes at great infrastructural cost and carbon footprint in modern data centers. Pruning is an effective technique that reduces both memory and compute demand for model inference. However, pruning for online recommendation systems is challenging due to the continuous data distribution shift (a.k.a non-stationary data). Although incremental training on the full model is able to adapt to the non-stationary data, directly applying it on the pruned model leads to accuracy loss. This is because the sparsity pattern after pruning requires adjustment to learn new patterns. To the best of our knowledge, this is the first work to provide in-depth analysis and discussion of applying pruning to online recommendation systems with non-stationary data distribution. Overall, this work makes the following contributions: 1) We present an adaptive dense to sparse paradigm equipped with a novel pruning algorithm for pruning a large scale recommendation system with non-stationary data distribution; 2) We design the pruning algorithm to automatically learn the sparsity across layers to avoid repeating hand-tuning, which is critical for pruning the heterogeneous architectures of recommendation systems trained with non-stationary data.

연구 동기 및 목표

• 비정상적인 데이터 분포 이동 상황에서도 모델 정확도를 유지를 위한 과제를 해결하기 위해.
• 추천 모델의 이질적인 아키텍처를 고려할 때, 수동 조정 없이 레이어별 최적의 희소성 비율을 자동으로 학습할 수 있는 프루닝 방법을 설계하기 위해.
• 데이터 분포 이동에도 불구하고 성능을 유지하는 효율적이고 수요에 맞는 희소 모델 생성을 가능하게 하기 위해.
• 기존 프루닝 기법이 증분 학습에서 고정된 희소성 패턴으로 인해 모델 적응이 어려운 점을 극복하기 위해.

제안 방법

• 비정상적인 데이터 분포 이동에 지속적으로 적응할 수 있도록 전체 밀도 모델을 유지하는 Dense-to-Sparse(D2S) 학습 패러다임을 제안한다.
• 중량 중요도를 더 정확하게 평가하기 위해 크기 기반 프루닝과 타일러 근사법을 결합한 AUX 프루닝 알고리즘을 도입한다.
• 전반적인 희소성 수준을 제어하고 다양한 데이터 범위와 모델 크기 간 일관된 희소성 비율을 확보하기 위해 정규화 항(λ)을 사용한다.
• 밀도 모델과 희소 모델 간 정확도 분산을 동적으로 모니터링하고 필요에 따라 재프루닝을 트리거하는 메커니즘을 구현한다.
• 완전히 연결된 레이어에 비구조적 프루닝을 적용하여 FLOPs와 메모리 사용량을 크게 줄이며 모델 성능을 유지한다.
• 밀도 모델을 기준으로 삼아 희소성 적응 과정을 검증하고 안내함으로써, 분포 이동 상황에서도 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 비정상적인 데이터를 가진 온라인 추천 시스템에 프루닝을 효과적으로 적용할 수 있는 방법은 무엇인가, 정확도 저하 없이?
• RQ2 이질적인 추천 아키텍처에서 자동으로 레이어별 희소성 비율을 학습할 수 있는 프루닝 전략은 무엇인가?
• RQ3 데이터 이동 상황에서도 동적이고 수요에 맞는 희소 모델 생성을 가능하게 하기 위해 밀도 모델을 안정적인 기준으로 사용할 수 있는가?
• RQ4 크기 기반 중요도 측정과 기울기 기반 중요도 측정을 조합함으로써, 크기 기반 방법에 비해 프루닝 성능이 어떻게 향상되는가?
• RQ5 정규화 강도(λ)의 영향은 학습된 희소성 패턴의 일관성과 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 AUX 프루닝 알고리즘이 표준 크기 기반 프루닝(MP) 및 기타 기준선 대비 정확도 손실을 크게 줄이며, 특히 데이터 분포 이동 상황에서 유의미한 성능 향상을 보였다.
• D2S 패러다임은 밀도 기반 참조 모델을 통한 지속적 적응을 통해 희소 모델이 밀도 모델과 유사한 성능을 유지할 수 있도록 했다.
• 레이어별 희소성은 레이어 깊이 또는 크기와 상관관계가 없음을 확인하여, 히ュ리스틱 규칙이 아닌 적응형 학습된 희소성의 필요성을 입증했다.
• 동일한 λ 값으로 다양한 데이터 세그먼트와 모델 크기에서 일관된 희소성 비율을 달성함으로써 조정 오버헤드를 감소시켰다.
• 중량 중요도 평가에 타일러 근사법을 사용함으로써, 중간 크기의 중량에 대해 더 나은 프루닝 결정을 내릴 수 있었으며, 전체 모델의 강건성 향상에 기여했다.
• 밀도 모델과 희소 모델 간 정확도 분산을 동적으로 모니터링함으로써 장기적인 운영 기간 동안 성능을 유지할 수 있도록 시기적절한 재프루닝이 가능해졌다.