[論文レビュー] Deep Interest with Hierarchical Attention Network for Click-Through Rate Prediction

Weinan Xu, Hengxu He+4 more|arXiv (Cornell University)|May 22, 2020

Recommender Systems and Techniques参考文献 5被引用数 5

ひとこと要約

本稿では、ユーザーの関心をカテゴリ、価格、ブランドなどの複数次元にわたり階層的なアテンション機構で捉えることで、関心の抽象化レベルに応じた動的重み付けを可能にする、CTR予測のための新規モデルであるDeep Interest with Hierarchical Attention Network（DHAN）を提案する。DHANは、公開データセット上でDIN比12%〜21%、DIEN比1.0%〜1.7%のAUC向上を達成し、推薦システムにおける階層的関心構造のモデリングの有効性を示している。

ABSTRACT

Deep Interest Network (DIN) is a state-of-the-art model which uses attention mechanism to capture user interests from historical behaviors. User interests intuitively follow a hierarchical pattern such that users generally show interests from a higher-level then to a lower-level abstraction. Modeling such an interest hierarchy in an attention network can fundamentally improve the representation of user behaviors. We, therefore, propose an improvement over DIN to model arbitrary interest hierarchy: Deep Interest with Hierarchical Attention Network (DHAN). In this model, a multi-dimensional hierarchical structure is introduced on the first attention layer which attends to an individual item, and the subsequent attention layers in the same dimension attend to higher-level hierarchy built on top of the lower corresponding layers. To enable modeling of multiple dimensional hierarchies, an expanding mechanism is introduced to capture one to many hierarchies. This design enables DHAN to attend different importance to different hierarchical abstractions thus can fully capture user interests at different dimensions (e.g. category, price, or brand).To validate our model, a simplified DHAN has applied to Click-Through Rate (CTR) prediction and our experimental results on three public datasets with two levels of the one-dimensional hierarchy only by category. It shows the superiority of DHAN with significant AUC uplift from 12% to 21% over DIN. DHAN is also compared with another state-of-the-art model Deep Interest Evolution Network (DIEN), which models temporal interest. The simplified DHAN also gets slight AUC uplift from 1.0% to 1.7% over DIEN. A potential future work can be a combination of DHAN and DIEN to model both temporal and hierarchical interests.

研究の動機と目的

• カテゴリ、価格、ブランドなどの複数次元にわたるユーザー関心の階層的性質を、DIN や DIEN といった既存のCTRモデルが十分に捉えていないという限界を解消すること。
• 階層的アテンション機構を用いて、任意の深さの関心階層を複数次元でモデリングできるスケーラブルなアーキテクチャを設計すること。
• 各次元における異なる抽象化レベルに応じて重要度を変えることで、関心の抽象化レベルに応じたアテンションを可能にし、CTR予測の精度を向上させること。
• 公開データセットを用いた実証的評価を通じて、階層的関心モデリングの有効性を検証し、DIN や DIEN といった最先端モデルと比較すること。
• 今後の推薦システムにおける階層的関心モデリングと時系列的関心モデリングの統合の可能性を検討すること。

提案手法

• 各次元（例：カテゴリ、価格）が、細分化されたアイテムから広い属性に至る垂直的な関心抽象化の階層をサポートする多次元階層構造を導入する。
• 各次元において、低レベルの特徴から高レベルの特徴を段階的に構築するためのアテンションモジュールの系列を用い、階層レベル間での動的アテンション重み付けを可能にする。
• 1つのユーザー行動シーケンスから複数の階層的次元を生成する拡張機構（expanding mechanism）をアイテムレベルに適用し、1対多の階層的関係を捉える。
• 各次元内で個々のアイテムにまずアテンションを適用し、次に高レベルの属性にアテンションを適用する階層的アテンション機構を採用することで、最も関連性の高い抽象化に焦点を当てる。
• 簡素化されたDHANバージョンをCTR予測に適用し、公開されたAmazonデータセットで学習を行い、AUCを主な評価指標とする。
• 実験設定を同一に保ち、DIN や DIEN と比較することで、階層的アテンションの性能への寄与を明確に分離する。

実験結果

リサーチクエスチョン

• RQ1 複数次元にわたる階層的構造を用いてユーザー関心をモデリングすることで、CTR予測性能が向上するか？
• RQ2 DIN の標準アテンション機構と比較して、DHAN の階層的アテンション機構はAUC向上の観点でどのように差をつけるか？
• RQ3 特に同じデータセットに適用した場合、階層的関心モデリングは時系列的関心モデリング（DIEN）を上回る程度はどの程度か？
• RQ4 拡張機構は、生のユーザー行動シーケンスから多様な階層的表現を効果的に生成できるか？
• RQ5 CTR予測におけるユーザー関心モデリングにおいて、階層的構造と時系列的ダイナミクスの相対的寄与度はどの程度か？

主な発見

• DHANは、3つの公開データセットにおいてDIN比12%〜21%の顕著なAUC向上を達成し、ユーザー関心の階層的モデリングの有効性を示している。
• 同じデータセットにおいて、DHANはDIEN比1.0%〜1.7%のわずかだが一貫したAUC向上を示しており、階層的モデリングが時系列モデリングと補完的であることを示している。
• アテンション重みの可視化により、高レベルの特徴（例：カテゴリ）が、ターゲットアイテム（例：スマートフォンケース）と高い関連性を持つ場合に動的に活性化されていることが確認された。例えば、ターゲットが「ケース」の場合、40%のアテンション重みが「ケース」に集中している。
• Amazon Electronicsデータセットにおける訓練曲線から、DHANは10万ステップ目以降にDINよりも速く収束し、より低い訓練損失と高いAUCを達成している。
• DIENに適応された順序サンプリング手法を用いた場合、DHANとDINの性能差が縮小したため、データサンプリング戦略が相対的なモデル性能に影響を与える可能性がある。
• これらの結果は、関心階層をモデリングすることで、より正確なユーザー表現が得られ、CTR予測が向上することを支持する。