[논문 리뷰] Multi-Level Deep Cascade Trees for Conversion Rate Prediction.

Hong Wen, Jing Zhang외 7명|arXiv (Cornell University)|2018. 05. 24.

Recommender Systems and Techniques참고 문헌 30인용 수 3

한 줄 요약

이 논문은 다층 딥 캐스케이드 트리(ildcTree)를 제안한다. 이는 한 수준의 GBDT에서 생성한 교차 엔트로피 출력을 다음 수준의 입력 특징으로 사용하여 계층적인 특징 표현을 학습하는 새로운 기울기 부스팅 결정 트리 앙상블 방법이다. 이 방법은 깊이 있는 캐스케이드 구조와 앙상블 학습을 통해 전환율 예측 성능을 향상시키며, 오프라인 데이터셋과 온라인 배포에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Developing effective and efficient recommendation methods is very challenging for modern e-commerce platforms. Generally speaking, two essential modules named Click-Through Rate Prediction ( extit{CTR}) and Conversion Rate Prediction ( extit{CVR}) are included, where extit{CVR} module is a crucial factor that affects the final purchasing volume directly. However, it is indeed very challenging due to its sparseness nature. In this paper, we tackle this problem by proposing multi-Level Deep Cascade Trees ( extit{ldcTree}), which is a novel decision tree ensemble approach. It leverages deep cascade structures by stacking Gradient Boosting Decision Trees ( extit{GBDT}) to effectively learn feature representation. In addition, we propose to utilize the cross-entropy in each tree of the preceding extit{GBDT} as the input feature representation for next level extit{GBDT}, which has a clear explanation, i.e., a traversal from root to leaf nodes in the next level extit{GBDT} corresponds to the combination of certain traversals in the preceding extit{GBDT}. The deep cascade structure and the combination rule enable the proposed extit{ldcTree} to have a stronger distributed feature representation ability. Moreover, inspired by ensemble learning, we propose an Ensemble extit{ldcTree} ( extit{E-ldcTree}) to encourage the model's diversity and enhance the representation ability further. Finally, we propose an improved Feature learning method based on extit{EldcTree} ( extit{F-EldcTree}) for taking adequate use of weak and strong correlation features identified by pre-trained extit{GBDT} models. Experimental results on off-line data set and online deployment demonstrate the effectiveness of the proposed methods.

연구 동기 및 목표

• 전자상거래 추천 시스템에서 희소한 전환율(CVR) 예측 문제를 해결하기 위해.
• 다중 수준의 기울기 부스팅 결정 트리(GBDT)를 스택하여 분산된 특징 표현을 향상시키기 위해.
• 다양한 수준 간의 앙상블 학습과 특징 재조합을 통해 모델 일반화 능력과 표현 능력을 향상시키기 위해.
• 사전 훈련된 GBDT 모델이 식별한 강한 상관관계 및 약한 상관관계 특징을 효과적으로 활용할 수 있는 특징 학습 방법을 개발하기 위해.

제안 방법

• 제안된 ildcTree는 각 GBDT 수준의 교차 엔트로피 확률을 다음 수준의 GBDT 입력 특징으로 사용하는 깊이 있는 캐스케이드 구조를 사용한다.
• 후속 GBDT 수준에서 루트에서 리프로의 모든 경로는 이전 수준의 경로 조합에 해당하여 계층적 특징 조합을 가능하게 한다.
• 다양한 ildcTree 인스턴스를 조합하여 모델 다양성을 높이고 일반화 능력을 향상시키기 위해 앙상블 ildcTree(E-ildcTree)를 도입한다.
• 사전 훈련된 GBDT 모델에서 식별된 강한 및 약한 상관관계 특징을 효과적으로 활용하기 위해 E-ildcTree 기반의 특징 학습 방법(F-EildcTree)을 제안한다.
• 모델는 트리 기반의 구조를 통해 해석 가능성 유지하면서 기울기 부스팅을 활용해 예측을 반복적으로 개선한다.

실험 결과

연구 질문

• RQ1 희소 전자상거래 환경에서 전환율 예측을 위한 특징 표현 향상에 깊이 있는 GBDT 캐스케이드가 기여할 수 있는가?
• RQ2 한 GBDT 수준의 교차 엔트로피 출력을 다음 수준에 입력으로 사용할 경우 성능 향상에 어떤 영향을 미치는가?
• RQ3 다양한 ildcTree 인스턴스 간의 앙상블 학습이 예측의 강건성과 정확도를 얼마나 향상시키는가?
• RQ4 약한 상관관계 및 강한 상관관계 특징이 계층적 트리 기반 프레임워크에서 효과적으로 활용될 수 있는가?

주요 결과

• 제안된 ildcTree 모델은 오프라인 데이터셋에서 기준 모델 대비 전환율 예측 성능에서 뛰어난 성능을 달성한다.
• 깊이 있는 캐스케이드 구조는 여러 GBDT 수준의 경로 조합을 통해 더 강력한 분산 특징 표현을 가능하게 한다.
• E-ildcTree 앙상블 버전은 공동 학습을 통해 모델 다양성과 예측 정확도를 더욱 향상시킨다.
• F-EildcTree 특징 학습 방법은 강한 상관관계 및 약한 상관관계 특징을 효과적으로 활용하여 모델 일반화 능력을 향상시켰다.
• 모델는 온라인 배포에서도 뛰어난 효과를 보이며, 전자상거래 추천 시스템에서의 실생활 적용 가능성을 입증한다.