[논문 리뷰] A Practical Incremental Method to Train Deep CTR Models

Yichao Wang, Huifeng Guo외 3명|arXiv (Cornell University)|2020. 09. 04.

Recommender Systems and Techniques참고 문헌 18인용 수 12

한 줄 요약

이 논문은 추천 시스템에서 딥 클릭스루레이트(CTR) 모델을 훈련하기 위한 실용적인 점진적 학습 방법인 IncCTR을 제안한다. 데이터, 특징, 모델 모듈을 분리함으로써 IncCTR은 오직 새로운 데이터만을 사용하여 효율적인 점진적 업데이트를 가능하게 하여, 산업용 데이터셋에서 배치 훈련과 비교해도 유사한 AUC 성능을 달성하면서도 훈련 시간을 최대 270배 빠르게 한다.

ABSTRACT

Deep learning models in recommender systems are usually trained in the batch mode, namely iteratively trained on a fixed-size window of training data. Such batch mode training of deep learning models suffers from low training efficiency, which may lead to performance degradation when the model is not produced on time. To tackle this issue, incremental learning is proposed and has received much attention recently. Incremental learning has great potential in recommender systems, as two consecutive window of training data overlap most of the volume. It aims to update the model incrementally with only the newly incoming samples from the timestamp when the model is updated last time, which is much more efficient than the batch mode training. However, most of the incremental learning methods focus on the research area of image recognition where new tasks or classes are learned over time. In this work, we introduce a practical incremental method to train deep CTR models, which consists of three decoupled modules (namely, data, feature and model module). Our method can achieve comparable performance to the conventional batch mode training with much better training efficiency. We conduct extensive experiments on a public benchmark and a private dataset to demonstrate the effectiveness of our proposed method.

연구 동기 및 목표

• 딥 CTR 모델에서 배치 모드 훈련의 낮은 훈련 효율성 문제를 해결하여, 모델 업데이트가 지연될 경우 성능 저하가 발생하는 문제를 해결한다.
• 시간이 지남에 따라 데이터와 특징이 변화하는 산업용 추천 시스템에 특화된 실용적인 점진적 학습 프레임워크를 개발한다.
• 점진적 업데이트를 통해 훈련 효율성을 크게 향상시키면서도 높은 예측 성능를 유지한다.
• 대규모 산업용 데이터셋을 활용한 실제 환경에서 점진적 학습의 효과성을 검증한다.

제안 방법

• IncCTR 프레임워크는 세 가지 분리된 모듈로 구성된다: 데이터 모듈, 특징 모듈, 모델 모듈.
• 데이터 모듈은 저장소 역할을 하며, 이전 데이터와 새로운 데이터를 결합하여 점진적 훈련을 수행한다.
• 특징 모듈은 도착하는 데이터 내에서 특징의 발생 빈도에 따라 기존 및 신규 특징을 확장하고 초기화하는 전략을 도입한다.
• 모델 모듈은 지식 정착(Knowledge Distillation, KD)을 활용하여 모델를 미세조정하며, 이전 모델 또는 자기 정착(self-distillation)을 통해 이전 가중치에서의 지식을 유지한다.
• 두 가지 KD 변형을 평가한다: KD-batch(별도의 교사 모델 사용)와 KD-self(자기 정착), 후자가 실무에서 더 효율적이다.
• 전체 재학습을 피하기 위해 오직 새로운 데이터에 대해서만 업데이트를 수행함으로써 훈련 시간을 크게 줄이고 성능를 유지한다.

실험 결과

연구 질문

• RQ1 점진적 학습이 배치 훈련과 유사한 CTR 예측 성능를 달성하면서도 훈련 효율성을 극적으로 향상시킬 수 있는가?
• RQ2 제안된 특징 확장 및 초기화 전략이 점진적 업데이트 중 새로운 특징을 다루는 데 얼마나 효과적인가?
• RQ3 지식 정착이 점진적 CTR 훈련에서 모델의 안정성과 성능에 미치는 영향은 어떠한가?
• RQ4 배치 모드 훈련에서 훈련 지연이 증가할수록 모델 성능가 어떻게 저하되는가? 그리고 점진적 학습이 이를 완화할 수 있는가?

주요 결과

• Criteo 데이터셋에서 IncCTR은 배치 훈련 대비 평균 훈련 시간을 60배 빠르게 하였으며, 배치 모드 모델과 비교해 AUC 감소 폭이 극히 미미한 0.08%에 그쳤다.
• HuaweiApp 데이터셋에서 IncCTR은 훈련 시간을 270배 빠르게 하였으며, 배치 기준선 대비 AUC 감소 폭은 0.055%에 불과했다.
• 배치 훈련에서 모델 업데이트가 5일 지연될 경우 AUC 성능가 0.66% 저하됨을 확인하여, 효율적인 점진적 학습 방법의 필요성을 입증하였다.
• 제거 실험 결과, 새로운 특징을 확장하지 않을 경우 장기적인 점진적 훈련 후 성능 저하가 0.1% 이상 발생함을 확인하였으며, 이는 특징 확장 전략의 필수성을 확인한다.
• 자기 정착(KD-self)은 KD-batch와 거의 유사한 성능를 보였지만 추가적인 계산 비용이 없어 산업적 구현에 더 실용적이다.