[論文レビュー] Making Recommender Systems Forget: Learning and Unlearning for Erasable Recommendation

Yuyuan Li, Xiaolin Zheng+2 more|arXiv (Cornell University)|Mar 22, 2022

Machine Learning in Healthcare被引用数 6

ひとこと要約

この論文では、共同フィルタリングに基づくレコメンデーションシステムにおける、効率的で効果的なアンラーニングを可能にする、新規の消去可能なレコメンデーションフレームワークであるLASERを提案する。ハイパーグラフに基づくユーザクラスタリングと、バランスの取れたグループ間での順次カリキュラム学習を活用することで、LASERはユーザデータの完全なアンラーニングを達成しながらも、モデルの有用性を維持し、実世界のデータセットにおいて、最先端のアンラーニング手法を効率性と推薦精度の両面で上回る。

ABSTRACT

Privacy laws and regulations enforce data-driven systems, e.g., recommender systems, to erase the data that concern individuals. As machine learning models potentially memorize the training data, data erasure should also unlearn the data lineage in models, which raises increasing interest in the problem of Machine Unlearning (MU). However, existing MU methods cannot be directly applied into recommendation. The basic idea of most recommender systems is collaborative filtering, but existing MU methods ignore the collaborative information across users and items. In this paper, we propose a general erasable recommendation framework, namely LASER, which consists of Group module and SeqTrain module. Firstly, Group module partitions users into balanced groups based on their similarity of collaborative embedding learned via hypergraph. Then SeqTrain module trains the model sequentially on all groups with curriculum learning. Both theoretical analysis and experiments on two real-world datasets demonstrate that LASER can not only achieve efficient unlearning, but also outperform the state-of-the-art unlearning framework in terms of model utility.

研究の動機と目的

• GDPRなどのプライバシー規制下で、ユーザ単位のデータ消去の課題に対処すること。
• 共同フィルタリングモデルからユーザデータの履歴を効率的に削除する一方で、モデルの有用性を維持するアンラーニングフレームワークの開発。
• 既存のマシンアンラーニング手法の限界を克服し、ユーザとアイテム間の共同情報が保持されない問題を解消すること。
• 学習とアンラーニングを統合的に扱えるスケーラブルで理論的裏付けのあるアンラーニングプロセスの設計。

提案手法

• LASERは、ハイパーグラフから得られる共同埋め込みを用いて、ユーザをバランスの取れたクラスタに分割するGroupモジュールを採用し、グループ内での類似性を高め、データ分布を均等に保つ。
• SeqTrainモジュールは、これらのグループを「簡単な順から難しい順へ」と順次学習することで、人間のカリキュラム学習を模倣し、モデルの収束性と有用性を向上させる。
• 各グループ内の共同情報量を定量化するための指標として、共同凝集性（collaborative cohesion）を導入し、グループ化と学習プロセスをガイドする。
• グループサイズの均一性を保証する制約付きのバランスの取れたk-meansクラスタリングアルゴリズムを用い、アンラーニング効率を最適化する。
• 理論的分析により、バランスの取れたグループ化が期待されるアンラーニングコストを最小化することを証明し、すべてのグループが同じサイズである場合に最適な構成が得られることを示した。
• モデルは経験的リスク最小化を用いて学習され、グループ固有の損失とパフォーマンス指標を組み込んだベイジアン事前分布により、モデルの有用性が最大化される。

Figure 1: A schematic view of learning and unlearning in recommendation.

実験結果

リサーチクエスチョン

• RQ1 共同フィルタリングモデルにおいて、ユーザとアイテムの両方の間で共同情報を保持するようなマシンアンラーニングフレームワークを設計できるか？
• RQ2 簡単な順から難しい順への順次学習が、アンラーニング中のモデル有用性にどのように影響するか？
• RQ3 共同埋め込みに基づくユーザのバランスの取れたグループ化が、アンラーニング効率の向上と計算コストの低減に寄与するか？
• RQ4 提案されたLASERフレームワークは、モデルの有用性とアンラーニングの完全性の両面で、既存のアンラーニングベースラインをどの程度上回るか？

主な発見

• LASERは、データサブセットの再学習により完全なアンラーニング（G1）を達成し、ターゲットユーザのデータ履歴がモデルから完全に消去されることを保証する。
• フレームワークは、バランスの取れたグループでの順次学習により、共同情報を保持することでモデルの有用性（G3）を向上させ、NDCGおよびHR指標においてSOTAアンラーニングベースラインを上回る。
• バランスの取れたグループ化は期待されるアンラーニングコストを最小化し、理論的証明により、損失関数の下ですべてのグループが同じサイズである場合に最も低い期待コストが得られることを示した。
• ML-100KおよびAmazon-Booksデータセットにおける実験結果から、LASERはアンラーニング後も高い推薦精度を維持しており、さまざまなアンラーニングリクエストの種別にわたり、NDCG@10およびHR@10で一貫した改善が確認された。
• 提案された共同埋め込み法は、スパースなユーザ・アイテム相互作用に比べて、顕著に高い共同凝集性を実現し、高次のユーザ・アイテム関係を効果的に捉えられることを検証した。

Figure 2: Overview of LASER framework.