[論文レビュー] Single Image Unlearning: Efficient Machine Unlearning in Multimodal Large Language Models

Jiaqi Li, Qianshan Wei+6 more|arXiv (Cornell University)|May 21, 2024

Radiomics and Machine Learning in Medical Imaging被引用数 4

ひとこと要約

本稿では、1つの概念あたり1枚の画像のみを微調整に用いることで、マルチモodal Large Language Models (MLLMs)における視覚的コンセプトの忘れ方を効率的に行う、Single Image Unlearning (SIU) を提案する。SIUは、4つのアンラーニングターゲットを用いて多面的な微調整データを構築し、新たなデュアルマスクKLダイバージェンス損失を導入することで、特定の視覚的知識を同時に忘れつつモデルの有用性を維持する。この手法は、新しいベンチマークMMUBenchにおいて、既存手法を上回り、メンバーーシップ攻撃およびジェイルブレイク攻撃に対しても頑健である。

ABSTRACT

Machine unlearning empowers individuals with the `right to be forgotten' by removing their private or sensitive information encoded in machine learning models. However, it remains uncertain whether MU can be effectively applied to Multimodal Large Language Models (MLLMs), particularly in scenarios of forgetting the leaked visual data of concepts. To overcome the challenge, we propose an efficient method, Single Image Unlearning (SIU), to unlearn the visual recognition of a concept by fine-tuning a single associated image for few steps. SIU consists of two key aspects: (i) Constructing Multifaceted fine-tuning data. We introduce four targets, based on which we construct fine-tuning data for the concepts to be forgotten; (ii) Jointly training loss. To synchronously forget the visual recognition of concepts and preserve the utility of MLLMs, we fine-tune MLLMs through a novel Dual Masked KL-divergence Loss combined with Cross Entropy loss. Alongside our method, we establish MMUBench, a new benchmark for MU in MLLMs and introduce a collection of metrics for its evaluation. Experimental results on MMUBench show that SIU completely surpasses the performance of existing methods. Furthermore, we surprisingly find that SIU can avoid invasive membership inference attacks and jailbreak attacks. To the best of our knowledge, we are the first to explore MU in MLLMs. We will release the code and benchmark in the near future.

研究の動機と目的

• 十分な訓練データを収集することが現実的でないマルチモダル大規模言語モデル（MLLMs）における視覚的コンセプトの忘れ方の課題に対処すること。
• 1つの概念あたり1枚の画像のみを必要とする、リソース消費を抑えた効率的なアンラーニング手法を開発すること。
• アンラーニング中に、意味のないまたは矛盾する出力などのモデルの有用性の低下を避けること。
• MLLMにおける機械のアンラーニングを評価するための包括的ベンチマーク、MMUBenchを構築すること。
• メンバーーシップインファレンスおよびジェイルブレイク攻撃に対するアンラーニング手法の頑健性を調査すること。

提案手法

• 未学習のコンセプトとの整合性、新しい視覚的記述の割り当て、事実知識の分離、非ターゲット知識の保持の4つのアンラーニングターゲットに基づき、多面的な微調整データを構築する。
• トークンレベルおよび語彙レベルのマスクを適用することで、矛盾するおよびターゲットのコンセプトトークンをKL損失計算から除外する、新たなデュアルマスクKLダイバージェンス（DMK）損失を導入する。
• 勾配降下法を用いてDMK損失と交差エントロピー損失を同時に最適化することで、忘れと有用性の維持のバランスをとる。
• 20のコンセプトを含み、各コンセプトに50枚以上の画像があるMMUBenchと呼ばれる新規ベンチマークを設計。1枚の画像をアンラーニングに使用し、残りを一般化評価に使用する。
• 有効性、一般化性、特異性、流暢さ、多様性の5つの次元からなる多角的評価スキームを定義し、アンラーニング性能を評価する。
• 1つの概念あたり1枚の画像を勾配ベースの微調整に使用し、大規模な忘れデータセットの必要を最小限に抑える。

Figure 1 : Overview of the Unlearning Process in MLLMs Using SIU. The process starts with a user request to unlearn the visual recognition of concepts, utilizing MMUBench (introduced in Section 5 ) to provide concepts for unlearning. SIU has two elements which are Multifaceted Fine-tuning Data and D

実験結果

リサーチクエスチョン

• RQ1 機械のアンラーニングは、マルチモダル大規模言語モデル（MLLMs）において、視覚的コンセプトの忘れ方に対して効果的に適用可能か？
• RQ2 1つの概念あたり1枚の画像のみで、大規模な忘れデータセットを必要とせずに、効率的なアンラーニングが達成可能か？
• RQ3 提案されたSIU手法は、ターゲット視覚的知識を効果的に忘れつつ、モデルの有用性を維持できるか？
• RQ4 有効性、一般化性、および頑健性の観点から、SIUは既存のアンラーニング手法に比べてどのように性能を発揮するか？
• RQ5 SIUはメンバーーシップインファレンスおよびジェイルブレイク攻撃といった攻撃に対して耐性を示せるか？

主な発見

• SIUは、MMUBenchベンチマークにおいて、すべての評価指標で既存手法を完全に上回り、優れた有効性と一般化性能を示した。
• 本手法は、1つの概念あたり1枚の画像のみで視覚的コンセプトの効果的な忘れを達成し、データおよび計算リソースの要件を顕著に削減した。
• アンラーニング後もSIUはモデル出力の流暢さと多様性を高い水準で維持し、意味のないまたは矛盾する出力を回避した。
• SIUはメンバーーシップインファレンスおよびジェイルブレイク攻撃に対して頑健であることが示され、より優れたセキュリティ特性を示唆した。
• 提案されたデュアルマスクKLダイバージェンス損失は、微調整中に忘れと有用性の維持のバランスを効果的にとれた。
• ベンチマークMMUBenchは、MLLMにおける機械のアンラーニングの包括的かつ標準化された評価を可能にし、今後の研究の新たな基準を確立した。

Figure 6 : Candidate names for targeted unlearning concepts.