[논문 리뷰] Deep & Cross Network for Ad Click Predictions

Ruoxi Wang, Bin Fu외 2명|arXiv (Cornell University)|2017. 08. 17.

Machine Learning and Data Classification참고 문헌 3인용 수 45

한 줄 요약

이 논문은 깊이 있는 신경망과 새로운 크로스 네트워크 모듈을 결합하여 유한 차수의 특성 상호작용을 명시적으로 학습하는 신경망 아키텍처인 Deep & Cross Network(DCN)을 제안한다. 이는 클릭-through rate(CTR) 예측 성능을 향상시키기 위해 개발되었으며, 수동적인 특성 공학 없이도 낮은 메모리 사용량으로 최신 기술 수준의 성능을 달성한다. DCN은 CTR 및 비-CTR 데이터셋 모두에서 DNN 및 기존 모델들을 능가한다.

ABSTRACT

Feature engineering has been the key to the success of many prediction models. However, the process is non-trivial and often requires manual feature engineering or exhaustive searching. DNNs are able to automatically learn feature interactions; however, they generate all the interactions implicitly, and are not necessarily efficient in learning all types of cross features. In this paper, we propose the Deep & Cross Network (DCN) which keeps the benefits of a DNN model, and beyond that, it introduces a novel cross network that is more efficient in learning certain bounded-degree feature interactions. In particular, DCN explicitly applies feature crossing at each layer, requires no manual feature engineering, and adds negligible extra complexity to the DNN model. Our experimental results have demonstrated its superiority over the state-of-art algorithms on the CTR prediction dataset and dense classification dataset, in terms of both model accuracy and memory usage.

연구 동기 및 목표

• 대규모 광고 시스템에서 CTR 예측을 위한 수작업 및 철저한 특성 공학의 과제를 해결하기 위해.
• 인간이 설계한 교차 특성에 의존하지 않고 명시적이고 유한 차수의 특성 상호작용을 효율적으로 학습할 수 있는 모델을 개발하기 위해.
• 깊이 있는 신경망의 표현 능력과 체계적으로 고차수 상호작용을 구성하는 명시적 크로스 네트워크를 결합하기 위해.
• 희박하고 고차원적인 데이터셋에서 예측 정확도를 유지하거나 향상시키면서 모델 복잡도와 메모리 사용량을 줄이기 위해.
• 제안된 아키텍처가 CTR 및 일반적인 밀도 높은 분류 과제 모두에서 효과적임을 입증하기 위해.

제안 방법

• 딥 & 크로스 네트워크(DCN)는 깊이 있는 신경망(DNN)과 각 레이어에서 명시적인 특성 교차를 적용하는 새로운 크로스 네트워크를 통합한다.
• 각 크로스 레이어는 차수 증가하는 다항식 상호작용을 계산하며, 최고 차수는 크로스 네트워크의 깊이에 의해 결정된다.
• 크로스 네트워크는 학습 가능한 가중치 행렬과 편향 벡터를 사용하여 입력 특성과 그들의 교차 항 사이의 상호작용을 계산하며, 수식은 $ x^{(l)} = x^{(l-1)} ullet W^{(l)} + x^{(0)} ullet V^{(l)} + b^{(l)} $ 와 같다.
• 크로스 네트워크는 이전 레이어들로부터의 저차수 상호작용을 유지하므로, 최대 차수까지의 모든 교차 항을 학습할 수 있다.
• DNN 및 크로스 네트워크 구성 요소는 함께 학습되어, DNN를 통한 암묵적 고차수 상호작용과 크로스 네트워크를 통한 명시적 저~중차수 상호작용의 이점을 모두 취할 수 있다.
• 아키텍처는 표준 DNN에 비해 추가 파rameter가 거의 없어 메모리 효율적이다.

실험 결과

연구 질문

• RQ1 수동적인 특성 공학 없이도 유한 차수의 특성 상호작용을 명시적으로 학습할 수 있는 신경망 아키텍처를 설계할 수 있는가?
• RQ2 명시적 특성 교차와 딥러닝을 조합하면 CTR 예측에서 모델 정확도와 효율성이 향상되는가?
• RQ3 DCN의 성능은 DNN 및 와이드-앤드-딥과 같은 최신 기술 수준의 모델들과 비교해 로그손실과 메모리 사용량 측면에서 어떻게 되는가?
• RQ4 크로스 네트워크 구성 요소는 비-CTR 및 밀도 높은 분류 과제로 일반화될 수 있는가?
• RQ5 최적의 모델 복잡도와 예측 성능 간의 균형을 이루기 위해 최적의 크로스 레이어 수는 얼마인가?

주요 결과

• Criteo CTR 데이터셋에서 DCN는 250만 개의 파라미터로 검증 로그손실 0.4423을 기록했으며, DNN(0.4431)을 능가하고 오차를 0.0008 감소시켰다.
• 110만 개의 파라미터 메모리 예산에서 DCN는 로그손실 0.4426을 기록했고, DNN는 0.4433이었으며, 모든 메모리 예산에서 일관된 성능 향상을 보였다.
• 포레스트 커버타입 데이터셋에서 DCN는 테스트 정확도 0.9740을 기록했으며, 최고의 DNN 및 DC 모델과 동일한 성능을 내면서도 더 낮은 메모리 소비를 보였다.
• Higgs 데이터셋에서 DCN는 테스트 로그손실 0.4494를 기록했고, DNN(0.4506)를 능가했으며, 최적 DNN 설정의 절반 수준의 메모리만 사용했다.
• 크로스 레이어를 추가할수록 평균 0.05~0.28×10⁻²의 로그손실 감소로 평판 DNN보다 성능 향상이 지속되었지만, 특정 깊이를 초과하면 성능 향상 폭이 감소하거나 변동성이 나타났다.
• 크로스 네트워크가 저차수 상호작용을 명시적으로 학습할 수 있다는 점이, 특히 희박한 고차원 환경에서 DNN보다 더 효율적인 특성 상호작용을 포착하는 데 유리함을 입증했다.