[논문 리뷰] APG: Adaptive Parameter Generation Network for Click-Through Rate Prediction

Bencheng Yan, Pengjie Wang외 5명|arXiv (Cornell University)|2022. 03. 30.

Recommender Systems and Techniques인용 수 15

한 줄 요약

이 논문은 클릭률(CTR) 예측에서 개별 인스턴스에 대해 동적으로 모델 가중치를 생성하는 새로운 적응형 파rameter 생성 네트워크인 APG를 제안한다. 이는 인스턴스별 패턴을 포착함으로써 표현 능력을 향상시킨다. 산업적 구현에서 APG는 최대 3%의 CTR 향상과 1%의 RPM 향상을 달성하며, 표준 모델 대비 메모리 사용량을 96.6% 감소시키고 학습 시간을 38.7% 절감한다. 또한 기존의 딥 CTR 아키텍처에 보편적으로 적용 가능하다.

ABSTRACT

In many web applications, deep learning-based CTR prediction models (deep CTR models for short) are widely adopted. Traditional deep CTR models learn patterns in a static manner, i.e., the network parameters are the same across all the instances. However, such a manner can hardly characterize each of the instances which may have different underlying distributions. It actually limits the representation power of deep CTR models, leading to sub-optimal results. In this paper, we propose an efficient, effective, and universal module, named as Adaptive Parameter Generation network (APG), which can dynamically generate parameters for deep CTR models on-the-fly based on different instances. Extensive experimental evaluation results show that APG can be applied to a variety of deep CTR models and significantly improve their performance. Meanwhile, APG can reduce the time cost by 38.7\% and memory usage by 96.6\% compared to a regular deep CTR model. We have deployed APG in the industrial sponsored search system and achieved 3\% CTR gain and 1\% RPM gain respectively.

연구 동기 및 목표

• 정적이고 공유되는 파rameter가 인스턴스별 특성 분포를 포착하지 못하는 딥 CTR 모델의 한계를 해결하기 위해.
• 모델 복잡도나 저장 용량을 증가시키지 않으면서도 동적이고 인스턴스 인식 파rameter 생성을 가능하게 하여 모델의 표현 능력을 향상시키기 위해.
• 계산 및 메모리 비용을 줄이면서도 예측 정확도를 유지하거나 향상시키는 효율적이고 확장 가능한 모듈을 설계하기 위해.
• 다양한 딥 CTR 모델과 호환되는 보편적인 솔루션을 제공하여 광범위한 산업 적용 가능성을 확보하기 위해.

제안 방법

• APG는 입력 특징을 컨텍스트로 사용하는 조건 인식 신경망을 통해 인스턴스별로 고유한 가중치 행렬을 동적으로 생성한다.
• 생성된 가중치 행렬을 세 개의 행렬(U_i S_i V_i)의 저랭크 곱으로 파arameter화하며, S_i는 동적으로 생성된 핵심 파rameter 행렬이다.
• 이 분해는 계산 및 메모리 비용을 O(NMD)에서 O(KKD)로 줄여주며, 여기서 K ≪ min(N,M)이므로 확장성이 향상된다.
• 완전한 가중치 행렬을 재구성하지 않는 분해된 피드포워드 메커니즘이 추론 중에 효율성을 향상시킨다.
• 세밀한 및 굵은 조각 파라미터 할당 전략을 모두 지원하며, 후자는 메모리 사용량을 크게 감소시킨다.
• 표준 완전히 연결된 레이어를 적응형 파라미터 생성 모듈로 대체함으로써 기존의 딥 CTR 모델에 원활하게 통합된다.

실험 결과

연구 질문

• RQ1 정적 파라미터 공유를 넘어서 동적이고 인스턴스 기반의 파라미터 생성이 딥 CTR 모델의 표현 능력을 향상시킬 수 있는가?
• RQ2 웹 스케일 CTR 예측 시스템에 대해 적응형 파라미터 생성을 어떻게 계산 및 메모리 측면에서 효율적으로 만들 수 있는가?
• RQ3 특히 데이터가 적은 환경에서, APG는 Star나 MMoE와 같은 굵은 조각 파라미터 할당 방법보다 일반화 성능이 뛰어나다고 할 수 있는가?
• RQ4 잠재 공간에서의 클러스터링을 통해 APG는 서로 다른 인스턴스 기반 파라미터 간의 관계를 암묵적으로 학습하는가?
• RQ5 실제 산업적 CTR 예측 시스템에 APG를 적용할 경우 성능 향상과 계산 효율성 사이의 상호 교환 관계는 어떠한가?

주요 결과

• 알리바바의 산업적 스폰서드 서치 시스템에 도입된 APG는 CTR에서 3%의 상대적 향상과 RPM에서 1%의 향상을 달성했다.
• 표준 딥 CTR 모델 대비 APG는 메모리 사용량을 96.6% 감소시키고 학습 시간을 38.7% 절감했다.
• MovieLens에서 세밀한 설정에서는 APG의 메모리 비용이 0.24M으로 줄었고, 동일한 설정에서 Star는 3784.23M이었다.
• PCA를 통한 시각화 결과, 생성된 특정 파라미터(S_i)가 카테고리별로 의미 있는 클러스터를 형성함을 확인하여, 파라미터 간의 관계를 암묵적으로 학습한 것으로 나타났다.
• 특히 데이터가 제한된 세밀한 설정에서 APG는 Star나 MMoE와 같은 굵은 조각 파라미터 할당 방법보다 효율성과 효과성 면에서 뛰어나다.
• 이 방법은 보편적으로 적용 가능하며 아키텍처의 대대적인 수정 없이도 다양한 딥 CTR 모델에서 성능 향상을 이룬다.