[論文レビュー] DHEN: A Deep and Hierarchical Ensemble Network for Large-Scale Click-Through Rate Prediction

Buyun Zhang, Liang Luo+15 more|arXiv (Cornell University)|Mar 11, 2022

Sentiment Analysis and Opinion Mining被引用数 8

ひとこと要約

本稿では、非同一の特徴相互作用を複数の順序にわたって捉えるために、異種の相互作用モジュールを統合する深く階層的なアンサンブルネットワークであるDHENを提案する。CTR予測の精度を向上させる。共同設計されたトレーニングシステムを活用することで、大規模CTRデータセットにおいて、最先端のベースラインと比較して0.27%高い正規化エントロピーを達成し、トレーニングスループットは1.2倍向上した。

ABSTRACT

Learning feature interactions is important to the model performance of online advertising services. As a result, extensive efforts have been devoted to designing effective architectures to learn feature interactions. However, we observe that the practical performance of those designs can vary from dataset to dataset, even when the order of interactions claimed to be captured is the same. That indicates different designs may have different advantages and the interactions captured by them have non-overlapping information. Motivated by this observation, we propose DHEN - a deep and hierarchical ensemble architecture that can leverage strengths of heterogeneous interaction modules and learn a hierarchy of the interactions under different orders. To overcome the challenge brought by DHEN's deeper and multi-layer structure in training, we propose a novel co-designed training system that can further improve the training efficiency of DHEN. Experiments of DHEN on large-scale dataset from CTR prediction tasks attained 0.27\% improvement on the Normalized Entropy (NE) of prediction and 1.2x better training throughput than state-of-the-art baseline, demonstrating their effectiveness in practice.

研究の動機と目的

• 同じ相互作用順序を主張しても、異なるデータセット間で既存のCTRモデルの性能に一貫性が欠ける問題に対処すること。
• 同じ順序の特徴相互作用を捉えるために、同種の相互作用モジュールでは、相補的で重複のない情報の捉えに限界があることの克服。
• 複数の順序にわたる相互作用を学習しつつ、トレーニング効率を維持する階層的アンサンブルアーキテクチャの設計。
• 深く多層的な階層モデルの効率的トレーニングを可能にする共同設計されたトレーニングシステムの開発。
• 大規模CTR設定において、より高い精度とトレーニングスループットを実現する、最先端のCTR予測性能の達成。

提案手法

• 各レイヤーに、注目ベース、因子分解ベース、フィードフォワードベースなどの異種の相互作用モジュールを複数含むレイヤードアーキテクチャを採用し、多様な相互作用パターンを捉える。
• 各レイヤーに、異種モジュールの出力間の相関関係を学ぶアンサンブル部を統合し、それらの寄与度に動的重み付けを可能にする。
• 残差接続とマルチヘッドアテンション機構を用いて、深層スタック間での勾配の流れとモデルの表現力を向上させる。
• 深く多層的な構造のトレーニング効率を最適化するため、共同設計されたトレーニングシステムを提案し、計算オーバーヘッドを低減する。
• GIN や AutoFIS のようなモデルとは異なり、2段階目の再トレーニングを必要としないエンドツーエンドのトレーニングをサポートする。
• すべてのパラメータ（アンサンブルおよび相互作用部品のものも含む）を同時に最適化する標準的なバックプロパゲーションを用いて、エンドツーエンドでモデルをトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 異種の相互作用モジュールの階層的アンサンブルは、同種のモデルと比較して、多様なデータセットにおけるCTR予測性能を向上させることができるか？
• RQ2 同じ順序の特徴相互作用を捉えると主張するモデルが、データセット間で性能にばらつきを示すのはなぜか？
• RQ3 深く多層的なアンサンブルアーキテクチャは、トレーニング効率を低下させることなく、特徴相互作用の階層を効果的に学習できるか？
• RQ4 多様な相互作用モジュールから得られる重複のない情報の統合は、モデルの汎化性能と耐障害性を向上させるか？
• RQ5 共同設計されたトレーニングシステムは、大規模CTR環境における深く階層的なモデルのトレーニングスループットを顕著に向上させることができるか？

主な発見

• DHENは、大規模CTR予測データセットにおいて、最先端のベースラインと比較して0.27%高い正規化エントロピー（NE）を達成した。
• モデルは、最も強力なベースラインと比較して1.2倍の高いトレーニングスループットを示し、優れたトレーニング効率を示した。
• 性能向上は複数のデータセットにわたり一貫しており、モデルの頑健性と汎化能力を確認した。
• 階層的アンサンブルアーキテクチャは、多様な相互作用モジュールから得られる相補的で重複のない情報を効果的に捉え、モデルの表現力を向上させた。
• 共同設計されたトレーニングシステムは、深く多層的なアーキテクチャのトレーニング課題を効果的に軽減し、2段階目の再トレーニングを必要とせずにエンドツーエンドトレーニングを可能にした。
• アブレーションスタディにより、異種モジュールが性能向上に独自に寄与しており、単一モジュールよりもアンサンブルによる統合が優れた結果をもたらすことが確認された。