[論文レビュー] Adversarial Recommendation: Attack of the Learned Fake Users

Konstantina Christakopoulou, Arindam Banerjee|arXiv (Cornell University)|Sep 21, 2018

Adversarial Robustness in Machine Learning参考文献 28被引用数 3

ひとこと要約

本稿では、検出不能なまま推薦システムを悪意的に操作できる現実的な偽ユーザー・プロファイルを生成する機械学習ベースのフレームワークを提案する。攻撃を、推薦システムとGANベースの敵対的攻撃者との二者間ゲームとして定式化することで、偽ユーザーのリアルさと攻撃意図の両方を最適化し、わずかに学習された偽ユーザーですら、標的ユーザーの推薦品質を著しく低下させられることを示している。

ABSTRACT

Can machine learning models for recommendation be easily fooled? While the question has been answered for hand-engineered fake user profiles, it has not been explored for machine learned adversarial attacks. This paper attempts to close this gap. We propose a framework for generating fake user profiles which, when incorporated in the training of a recommendation system, can achieve an adversarial intent, while remaining indistinguishable from real user profiles. We formulate this procedure as a repeated general-sum game between two players: an oblivious recommendation system $R$ and an adversarial fake user generator $A$ with two goals: (G1) the rating distribution of the fake users needs to be close to the real users, and (G2) some objective $f_A$ encoding the attack intent, such as targeting the top-K recommendation quality of $R$ for a subset of users, needs to be optimized. We propose a learning framework to achieve both goals, and offer extensive experiments considering multiple types of attacks highlighting the vulnerability of recommendation systems.

研究の動機と目的

• 機械学習モデルによる推薦が、本物のユーザーと区別できない偽ユーザー・プロファイルによって悪意的に操作可能かどうかを調査すること。
• 特定の攻撃目的（例：標的ユーザーのトップ-K推薦を劣化させること）を最適化しながら、現実的な評価分布を有する偽ユーザー・プロファイルを生成する学習フレームワークを開発すること。
• 推薦システムの文脈において、従来のシャッフル攻撃（手作業で作成された偽プロファイル）とアドバーシャル例（摂動を加えた入力）の間のギャップを埋めること。
• 攻撃者による知識の制限（例：モデルの勾配にアクセスできない状況）を想定した現実的な仮定のもとで、低ランク推薦モデルがエンドツーエンドの学習された敵対的攻撃に対してどれほど脆弱であるかを評価すること。

提案手法

• 無知な推薦システム $ R $ と敵対的偽ユーザー生成者 $ A $ の間で繰り返し行われる一般和ゲームとして、敵対的推薦を定式化し、2つの目的を設定：(G1) 偽ユーザーの評価のリアルさ、(G2) 攻撃意図の最適化。
• 実ユーザーの評価分布を学習し、その分布を模倣する現実的な偽ユーザー・プロファイルを生成するために、生成対抗ネットワーク（GANs）を用いる。
• 推薦システムモデルの勾配にアクセスできない状況でも、偽ユーザー・プロファイルを更新できるように、0次最適化を用いる。これにより、勾配フリーな攻撃最適化が可能になる。
• リアルさ（例：評価分布や固有スペクトルの類似性）と敵対的目的（例：標的ユーザーまたはアイテムの予測スコアを最小化すること）の両方をバランスさせる損失関数を統合する。
• 攻撃者が推薦システムのモデルアーキテクチャを把握しており、拡張データ上で再訓練可能であると仮定することで、偽プロファイルの段階的改善が可能になる。
• 偽ユーザーをトレーニングセットに挿入した後の推薦品質の変化（例：トップ-K性能）を測定することで、攻撃の効果を評価する。

実験結果

リサーチクエスチョン

• RQ1 本物のユーザーと区別できない偽ユーザー・プロファイルによって、機械学習ベースの推薦モデルは実際に効果的に攻撃可能か？
• RQ2 GANベースの生成者による偽ユーザー・プロファイルは、本物のユーザーの評価パターンをどれほど正確に模倣できるか、また特定の敵対的目標を達成できるか？
• RQ3 攻撃者が推薦システムモデルの勾配にアクセスできない状況で、0次最適化法はどれほど効果的に敵対的攻撃を構築できるか？
• RQ4 学習された偽ユーザーは、標的ユーザーまたはアイテムのトップ-K推薦品質にどのような影響を与えるか？
• RQ5 たとえば、最高評価ユーザーのスコアを最小化するような単一の戦略的操作が、標的アイテムの推薦品質を広範囲にわたり著しく劣化させる可能性があるか？

主な発見

• 提案されたフレームワークは、評価分布および固有スペクトルの観点から、本物のユーザーと統計的に区別できない偽ユーザー・プロファイルを効果的に生成しており、非常に現実的なものである。
• 攻撃により標的ユーザーのトップ-K推薦品質が著しく劣化し、特に重要な発見として、標的アイテムの最高評価ユーザーの予測スコアを最小化するだけで、そのアイテムの推薦パフォーマンスが著しく損なわれる可能性があることが示された。
• 本手法は、特定のアイテムのプロモーションやデモーションといった複数の攻撃意図において高い攻撃成功率を達成しており、推薦システムモデルの詳細をほとんど知らない状況でも効果的に機能する。
• 実験により、GANベースの生成者が、手作業による偽プロファイルに比べてリアルさと攻撃効果の両面で優れていることが確認され、学習されたアプローチがヒューリスティックな手法を上回ることを裏付けた。
• フレームワークは、攻撃者がモデルの勾配にアクセスできない状況でも、現実的で学習された偽ユーザーによるデータ汚染攻撃が可能であることを明らかにした。
• 結果から、現在の推薦システムはデータレベルの敵対的攻撃に対して十分に頑健ではない可能性があり、攻撃者を想定した防御策の開発が急務であることが示唆された。