[論文レビュー] A Comprehensive Survey on Automated Machine Learning for Recommendations

Bo Chen, Xiangyu Zhao+4 more|arXiv (Cornell University)|Apr 4, 2022

Recommender Systems and Techniques被引用数 8

ひとこと要約

本調査では、深層推薦システム（DRS）における自動機械学習（AutoML）の包括的概要を提供し、特徴選択、埋め込み探索、特徴相互作用、モデル学習におけるAutoMLの応用を体系的に分析している。マルチコンポonentの共同探索と抽象的探索空間、そして効率的なアルゴリズムへの移行が顕著であり、人為的バイアスや工学的コストを低減しながら推薦性能を向上させる統一的なフレームワークを提示している。

ABSTRACT

Deep recommender systems (DRS) are critical for current commercial online service providers, which address the issue of information overload by recommending items that are tailored to the user's interests and preferences. They have unprecedented feature representations effectiveness and the capacity of modeling the non-linear relationships between users and items. Despite their advancements, DRS models, like other deep learning models, employ sophisticated neural network architectures and other vital components that are typically designed and tuned by human experts. This article will give a comprehensive summary of automated machine learning (AutoML) for developing DRS models. We first provide an overview of AutoML for DRS models and the related techniques. Then we discuss the state-of-the-art AutoML approaches that automate the feature selection, feature embeddings, feature interactions, and model training in DRS. We point out that the existing AutoML-based recommender systems are developing to a multi-component joint search with abstract search space and efficient search algorithm. Finally, we discuss appealing research directions and summarize the survey.

研究の動機と目的

• 深層推薦システム（DRS）に応用されたAutoML技術の包括的サーベイを提供すること。
• 特徴選択、特徴埋め込み、特徴相互作用、モデル学習といったDRSの主要コンポonentを自動化する最先端のAutoMLアプローチを分析すること。
• マルチコンポonentの共同探索や抽象的探索空間設計といった新たなトレンドを特定し、未解明の研究方向性を強調すること。
• 手動による専門家主導のモデル設計に依存しないよう、DRSコンポonentの最適化を自動化すること。
• 順序付き、ソーシャル、POI推薦におけるAutoML応用のギャップを特定することで、今後の研究を導くこと。

提案手法

• DRSにおけるAutoML応用を、特徴選択、特徴埋め込み探索、特徴相互作用探索、モデル学習自動化の4つのコアコンポonentに分類する。
• 単一コンポonent対マルチコンポonent、抽象的表現対詳細表現を含む探索空間設計をレビューする。
• 強化学習、ベイズ最適化、ニューラルアーキテクチャ探索（NAS）といった探索戦略がDRSに適用される様子を分析する。
• モデル圧縮、量子化、損失関数最適化とのAutoML統合を検討する。
• 異種の探索空間を同一型の表現に変換することで、マルチコンポonentの共同探索を統一するフレームワークを提案する。
• 順序付き、ソーシャル、POI推薦を含む多様な推薦シナリオにおいて、既存のAutoML技術を評価する。

実験結果

リサーチクエスチョン

• RQ1 次元が高くスパースな推薦システムにおいて、AutoMLはどのように特徴選択を効果的に自動化できるか？
• RQ2 深層推薦モデルにおける特徴埋め込み最適化に最も効果的な探索戦略は何か？
• RQ3 内積や外積といった標準的な演算を超えた最適な特徴相互作用関数をAutoMLでどのように発見できるか？
• RQ4 一般向けAutoMLアルゴリズムを、ユーザー・アイテム相互作用データのスパarsity、順序性、パーソナライズド特性に適用する際に生じる課題は何か？
• RQ5 DRSにおいて、異種の探索空間を効率的に統合した包括的でマルチコンポonentの共同探索をどのように実現できるか？

主な発見

• AutoMLを用いたDRSは、抽象的探索空間を用いたマルチコンポonentの共同探索へと進化しており、探索効率とモデル性能が向上している。
• 順序付き、ソーシャル、POI推薦タスクにおける既存のDRS用AutoMLアプローチは、これらの分野への関心が高まる中で依然として未解明な部分が多い。
• 特徴埋め込みはモデルパラメータの大部分を占めるため、自動的な埋め込みサイズ探索と圧縮は高いインパクトを持つ研究分野である。
• 現在のAutoML手法はしばしばコンポonentを別々に最適化しているため、性能が最適でなく、探索効率も低い。これにより、統一された探索空間の必要性が浮き彫りになっている。
• コンピュータビジョン（CV）や自然言語処理（NLP）由来のAutoMLアルゴリズムを推薦システムに適用するのは不適切である。これは、ユーザー・アイテムデータの特徴としてのスパarsityと高次元性に起因する。
• 適応的マルチタスク学習や関連するユーザーの履歴行動の自動取得は、今後のAutoMLにおける有望な分野だが、未だ十分に検討されていない。