[論文レビュー] MAMO: Memory-Augmented Meta-Optimization for Cold-start Recommendation

Manqing Dong, Yuan Feng+3 more|arXiv (Cornell University)|Jul 7, 2020

Recommender Systems and Techniques参考文献 35被引用数 14

ひとこと要約

本稿では、新規ユーザーまたはアイテムに適したメモリ拡張型メタ最適化フレームワークMAMOを提案する。MAMOは、個別化されたパラメータ初期化のための特徴固有メモリと、高速な好み予測のためのタスク固有メモリの2つの共有メモリ行列を用いる。少数の相互作用から学習することで、2つのベンチマークデータセットにおいて最先端の手法を上回り、コールドスタート状況における一般化性能と収束性の向上を示した。

ABSTRACT

A common challenge for most current recommender systems is the cold-start problem. Due to the lack of user-item interactions, the fine-tuned recommender systems are unable to handle situations with new users or new items. Recently, some works introduce the meta-optimization idea into the recommendation scenarios, i.e. predicting the user preference by only a few of past interacted items. The core idea is learning a global sharing initialization parameter for all users and then learning the local parameters for each user separately. However, most meta-learning based recommendation approaches adopt model-agnostic meta-learning for parameter initialization, where the global sharing parameter may lead the model into local optima for some users. In this paper, we design two memory matrices that can store task-specific memories and feature-specific memories. Specifically, the feature-specific memories are used to guide the model with personalized parameter initialization, while the task-specific memories are used to guide the model fast predicting the user preference. And we adopt a meta-optimization approach for optimizing the proposed method. We test the model on two widely used recommendation datasets and consider four cold-start situations. The experimental results show the effectiveness of the proposed methods.

研究の動機と目的

• 新規ユーザーまたはアイテムに十分な相互作用データが不足するコールドスタート問題に対処すること。
• 単一のグローバル初期化に依存するモデルに依存しないメタラーニング（MAML）の限界を克服し、異なる好みのパターンを示すユーザーに対して局所最適解に陥るのを防ぐこと。
• 外部メモリ機構を用いて個別化されたバイアスと高速重みを統合することで、収束速度と推薦精度を向上させること。
• ユーザーのプロファイルと好みのメモリを活用して初期化と予測をガイドするメタ最適化フレームワークを設計すること。

提案手法

• ユーザーのプロファイル埋め込みと高速勾配を格納する特徴固有メモリ行列を導入し、モデルパラメータの初期化時に個別化されたバイアスを可能にする。
• ユーザーのプロファイルと格納されたプロファイルメモリとの類似性に基づく検索メカニズムを用い、動的に関連するメモリベクトルに注目する。
• 複数のアイテム間で共有される好みのパターンを格納するタスク固有メモリキューブを設計し、推論を高速化し、フルモデル再トレーニングへの依存度を低下させる高速重みとして機能させる。
• メタ最適化を用いて、メモリネットワークのグローバルパラメータと推薦モデルのパラメータを同時に最適化し、ユーザーのタスク全体の損失を最小化する。
• ニューラルチューリングマシンにインspiredしたメモリの読み取り・書き込みメカニズムを採用し、ユーザーおよびアイテム特徴から導出されるクエリベクトルを用いた注目メカニズムでメモリの行にアクセスする。
• 特徴固有メモリが初期化をガイドし、タスク固有メモリが予測の速度と正確性を向上させる二重メモリアーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 メモリ拡張型メタ最適化フレームワークは、標準のMAMLベース手法と比較して、コールドスタート状況における推薦性能を向上させることができるか？
• RQ2 特徴固有メモリの使用は、推薦のメタラーニングにおける不適切なグローバル初期化が引き起こす収束問題を軽減するか？
• RQ3 タスク固有メモリは、フルモデル状態を保存せずに、予測を高速化するための高速重みとしてどの程度有効に機能するか？
• RQ4 本手法は、ユーザーおよびアイテムのコールドスタートを含むさまざまなコールドスタート設定において、どの程度有効であるか？

主な発見

• MAMOは、ユーザーおよびアイテムコールドスタートを含む4つのすべてのコールドスタートシナリオにおいて、2つの広く使われている推薦データセットで最先端のパフォーマンスを達成した。
• 特徴固有メモリは、好みのパターンが著しく異なるユーザーに対して個別化された初期化を可能にすることで、収束速度を著しく向上させ、局所最適解のリスクを低減した。
• タスク固有メモリキューブは効果的な高速重みとして機能し、最小限のパラメータ更新で新しいユーザーの好みに迅速に適応できる。
• 実験の結果、MAMOはMAMLやMAML++を含む既存のメタラーニングベースラインよりも、精度と頑健性の両面で優れていた。
• アブレーションスタディの結果、両方のメモリコンponentが性能向上に独立的かつ相乗的に寄与しており、特に特徴固有メモリが収束性に強い影響を与えていた。