[論文レビュー] AMER: Automatic Behavior Modeling and Interaction Exploration in Recommender System

Pengyu Zhao, Kecheng Xiao+3 more|arXiv (Cornell University)|Jun 10, 2020

Recommender Systems and Techniques参考文献 60被引用数 9

ひとこと要約

AMERは、3段階の探索空間とワンショットランダム探索パイプラインを通じて、行動モデリングと特徴相互作用学習を統合的に最適化する、推薦システム向けの自動ニューラルアーキテクチャ探索フレームワークを提案する。手動で設計されたベースラインを上回り、手作業による設計を伴わず、最適なリーダーブロック、特徴相互作用、アグリゲーションネットワークを効果的に発見する。

ABSTRACT

User behavior and feature interactions are crucial in deep learning-based recommender systems. There has been a diverse set of behavior modeling and interaction exploration methods in the literature. Nevertheless, the design of task-aware recommender systems still requires feature engineering and architecture engineering from domain experts. In this work, we introduce AMER, namely Automatic behavior Modeling and interaction Exploration in Recommender systems with Neural Architecture Search (NAS). The core contributions of AMER include the three-stage search space and the tailored three-step searching pipeline. In the first step, AMER searches for residual blocks that incorporate commonly used operations in the block-wise search space of stage 1 to model sequential patterns in user behavior. In the second step, it progressively investigates useful low-order and high-order feature interactions in the non-sequential interaction space of stage 2. Finally, an aggregation multi-layer perceptron (MLP) with shortcut connection is selected from flexible dimension settings of stage~3 to combine features extracted from the previous steps. For efficient and effective NAS, AMER employs the one-shot random search in all three steps. Further analysis reveals that AMER's search space could cover most of the representative behavior extraction and interaction investigation methods, which demonstrates the universality of our design. The extensive experimental results over various scenarios reveal that AMER could outperform competitive baselines with elaborate feature engineering and architecture engineering, indicating both effectiveness and robustness of the proposed method.

研究の動機と目的

• ディープラーニングベースの推薦システムにおける、手動による特徴およびアーキテクチャ設計の必要性を排除すること。
• 順序付き行動モデリングと特徴相互作用学習の両方を捉える統合的でタスクに適応した探索空間を設計すること。
• 複雑な推薦ワークロードにスケーリング可能な、効率的かつ効果的なNASパイプラインを開発すること。
• 既存の代表的メソッドをカバーすることで、提案された探索空間の普遍性と堅牢性を実証すること。
• 熟練者が最適化した設計を施さずに、複数のベンチマークシナリオで最先端の性能を達成すること。

提案手法

• AMERは3段階の探索空間を採用する：第1段階では、一般的な演算を用いて順序付きユーザ行動のモデリングを目的としたブロック単位の残差ブロックに焦点を当てる。
• 第2段階では、非順序的な相互作用空間において低次および高次特徴相互作用を探索し、複雑なユーザ-アイテム関係を捉える。
• 第3段階では、柔軟な次元設定から、ショートカット接続を備えた適応的アグリゲーションMLPを選択し、前段の段階からの特徴を統合する。
• すべての3段階においてワンショットランダム探索戦略を適用することで、各候補を再訓練せずに、効率的なアーキテクチャ発見を可能にする。
• 探索空間は普遍的であり、既存の大部分の行動モデリングおよび相互作用手法を特別なケースとしてカバー可能に設計されている。
• 最終的なアーキテクチャは検証性能に基づき選択され、行動モデリングと相互作用学習のエンドツーエンド最適化が保証される。

実験結果

リサーチクエスチョン

• RQ1 統合的ニューラルアーキテクチャ探索フレームワークは、推薦システムにおける行動モデリングと特徴相互作用学習の両方を効果的に自動化できるか？
• RQ2 提案された3段階の探索空間は、行動モデリングおよび相互作用学習分野の既存代表的メソッドをどの程度カバーできるか？
• RQ3 ワンショットランダム探索戦略は、複雑な推薦タスクにおいて、どの程度効率的かつ効果的なアーキテクチャ発見を可能にするか？
• RQ4 自動的に発見されたアーキテクチャは、熟練者が設計したコンponentsを備えた手作業ベースのモデルを上回るか？
• RQ5 提案手法は、多様な推薦シナリオおよびデータ分布に対してどの程度堅牢か？

主な発見

• AMERは、広範な特徴およびアーキテクチャ設計に依存する競合ベースラインと比較して優れた性能を達成する。
• AMERの探索空間は、代表的な行動モデリングおよび相互作用手法の大部分をカバー可能であり、その普遍性を裏付けている。
• ワンショットランダム探索戦略により、性能を犠牲にすることなく、効率的なアーキテクチャ発見が可能である。
• AMERは、さまざまな推薦シナリオにおいて堅牢であることが示され、優れた一般化能力を示している。
• 本手法は、リーダーブロック、特徴相互作用、アグリゲーションネットワークの設計を成功裏に自動化し、熟練者の干渉を不要にした。
• AMERが発見した最終アーキテクチャは、多様なベンチマーク設定において、手作業で最適化されたコンponentsを備えたモデルを凌駃する。