[論文レビュー] Multi-Level Deep Cascade Trees for Conversion Rate Prediction.

Hong Wen, Jing Zhang+7 more|arXiv (Cornell University)|May 24, 2018

Recommender Systems and Techniques参考文献 30被引用数 3

ひとこと要約

本論文は、マルチレベルディープカスケードツリー（ldcTree）を提案する。これは、1つの段階の出力としての交差エントロピー確率を次の段階の入力特徴として用いることで、階層的特徴表現を学習する、新しい勾配ブースティング決定木アンサンブル手法である。このアプローチは、ディープカスケード構造とアンサンブル学習を用いることでコンversion rate予測を向上させ、オフラインデータセットおよびオンラインデプロイにおいて最先端のパフォーマンスを達成した。

ABSTRACT

Developing effective and efficient recommendation methods is very challenging for modern e-commerce platforms. Generally speaking, two essential modules named Click-Through Rate Prediction ( extit{CTR}) and Conversion Rate Prediction ( extit{CVR}) are included, where extit{CVR} module is a crucial factor that affects the final purchasing volume directly. However, it is indeed very challenging due to its sparseness nature. In this paper, we tackle this problem by proposing multi-Level Deep Cascade Trees ( extit{ldcTree}), which is a novel decision tree ensemble approach. It leverages deep cascade structures by stacking Gradient Boosting Decision Trees ( extit{GBDT}) to effectively learn feature representation. In addition, we propose to utilize the cross-entropy in each tree of the preceding extit{GBDT} as the input feature representation for next level extit{GBDT}, which has a clear explanation, i.e., a traversal from root to leaf nodes in the next level extit{GBDT} corresponds to the combination of certain traversals in the preceding extit{GBDT}. The deep cascade structure and the combination rule enable the proposed extit{ldcTree} to have a stronger distributed feature representation ability. Moreover, inspired by ensemble learning, we propose an Ensemble extit{ldcTree} ( extit{E-ldcTree}) to encourage the model's diversity and enhance the representation ability further. Finally, we propose an improved Feature learning method based on extit{EldcTree} ( extit{F-EldcTree}) for taking adequate use of weak and strong correlation features identified by pre-trained extit{GBDT} models. Experimental results on off-line data set and online deployment demonstrate the effectiveness of the proposed methods.

研究の動機と目的

• eコマース推薦システムにおけるスパースなコンバージョンレート（CVR）予測の課題に対処すること。
• 複数段階の勾配ブースティング決定木（GBDT）をスタックすることで、分散特徴表現を向上させること。
• 複数段階間でのアンサンブル学習と特徴再結合を通じて、モデルの汎化性能と表現能力を向上させること。
• 事前に訓練されたGBDTモデルが特定した強相関および弱相関特徴を効果的に活用する特徴学習手法を開発すること。

提案手法

• 提案されるldcTreeは、深層カスケード構造を採用しており、各GBDT段階の交差エントロピー確率を次の段階のGBDTの入力特徴として使用する。
• 後続のGBDT段階におけるルートからリーフへの各走査は、直前の段階の走査の組み合わせに対応し、階層的特徴合成を可能にする。
• 複数のldcTreeインスタンスを組み合わせることでモデルの多様性を高め、一般化性能を向上させるため、アンサンブルldcTree（E-ldcTree）が導入された。
• 事前に訓練されたGBDTモデルで特定された強相関および弱相関特徴を活用するため、E-ldcTreeに基づく特徴学習手法（F-EldcTree）が提案された。
• モデルは勾配ブースティングを用いて予測を段階的に改善しつつ、木構造による解釈可能性を維持している。

実験結果

リサーチクエスチョン

• RQ1 GBDTの深層カスケード構造は、スパースなeコマース環境におけるコンバージョンレート予測のための特徴表現を向上させることができるか？
• RQ2 1つのGBDT段階の交差エントロピー出力を次の段階の入力として使用することで、モデルのパフォーマンスがどのように向上するか？
• RQ3 複数のldcTreeインスタンスにわたるアンサンブル学習は、予測のロバスト性と正確性をどの程度向上させるか？
• RQ4 弱相関および強相関特徴は、階層的ツリー構造に基づくフレームワークで効果的に活用可能か？

主な発見

• 提案されたldcTreeモデルは、ベースライン手法と比較して、オフラインデータセットにおいてコンバージョンレート予測で優れたパフォーマンスを達成した。
• ディープカスケード構造により、複数のGBDT段階の走査を組み合わせることで、より強力な分散特徴表現が可能になった。
• E-ldcTreeアンサンブルバージョンは、集団学習を通じてモデルの多様性と予測精度をさらに向上させた。
• F-EldcTree特徴学習手法は、強相関および弱相関特徴を効果的に活用し、モデルの汎化性能を向上させた。
• モデルはオンラインデプロイにおいても強く効果的であることが示され、eコマース推薦システムにおける実世界応用可能性が裏付けられた。