[논문 리뷰] Single Image Unlearning: Efficient Machine Unlearning in Multimodal Large Language Models

Jiaqi Li, Qianshan Wei외 6명|arXiv (Cornell University)|2024. 05. 21.

Radiomics and Machine Learning in Medical Imaging인용 수 4

한 줄 요약

이 논문은 다중모odal 대규모 언어 모델(MLLMs)에서 시각적 개념을 잊기 위해 단일 이미지당 하나의 개념으로 미세조정하는 효율적인 방법인 Single Image Unlearning(SIU)을 제안한다. SIU는 다각도의 미세조정 데이터를 구성하기 위해 네 가지 유추 학습 타겟을 사용하고, 목표 시각 지식을 동시에 잊고 모델의 유용성을 유지하기 위해 새로운 이중 마스킹 KL 발산 손실을 도입한다. 이는 새로운 벤치마크인 MMUBench에서 기존 방법들을 압도적으로 능가하며, 소유자 식별 및 잠금 해제 공격에 대해 뛰어난 내성성을 보인다.

ABSTRACT

Machine unlearning empowers individuals with the `right to be forgotten' by removing their private or sensitive information encoded in machine learning models. However, it remains uncertain whether MU can be effectively applied to Multimodal Large Language Models (MLLMs), particularly in scenarios of forgetting the leaked visual data of concepts. To overcome the challenge, we propose an efficient method, Single Image Unlearning (SIU), to unlearn the visual recognition of a concept by fine-tuning a single associated image for few steps. SIU consists of two key aspects: (i) Constructing Multifaceted fine-tuning data. We introduce four targets, based on which we construct fine-tuning data for the concepts to be forgotten; (ii) Jointly training loss. To synchronously forget the visual recognition of concepts and preserve the utility of MLLMs, we fine-tune MLLMs through a novel Dual Masked KL-divergence Loss combined with Cross Entropy loss. Alongside our method, we establish MMUBench, a new benchmark for MU in MLLMs and introduce a collection of metrics for its evaluation. Experimental results on MMUBench show that SIU completely surpasses the performance of existing methods. Furthermore, we surprisingly find that SIU can avoid invasive membership inference attacks and jailbreak attacks. To the best of our knowledge, we are the first to explore MU in MLLMs. We will release the code and benchmark in the near future.

연구 동기 및 목표

• 충분한 학습 데이터를 확보하기 어려운 다중모달 대규모 언어 모델(MLLMs)에서 시각적 개념을 잊는 문제를 해결하기 위해.
• 자원 소모를 최소화하기 위해 개념당 단일 이미지만 필요한 효율적인 유추 학습 방법을 개발하기 위해.
• 유추 학습 과정에서 의미 없거나 모순된 출력 등으로 인한 성능 저하를 방지하고 모델의 유용성을 유지하기 위해.
• 기계 유추 학습을 평가하기 위한 종합적인 벤치마크인 MMUBench를 구축하기 위해.
• 유추 학습 방법의 소유자 식별 및 잠금 해제 공격에 대한 내성성에 대해 조사하기 위해.

제안 방법

• 시각적 개념과의 정렬, 새로운 시각적 기술서 작성, 사실 지식의 분리, 타겟 외 지식 유지 등의 네 가지 유추 학습 타겟을 기반으로 다각도의 미세조정 데이터를 구성하기 위해.
• 토큰 수준 및 어휘 수준의 마스킹을 적용하여 KL 손실 계산에서 충돌하거나 타겟된 개념 토큰을 제외하는 이중 마스킹 KL 발산(DMK) 손실을 도입하기 위해.
• 기울기 하강을 통해 DMK 손실과 교차 엔트로피 손실을 동시에 최적화하여 잊기와 유용성 유지의 균형을 이루기 위해.
• 20개의 개념을 포함하는 새로운 벤치마크인 MMUBench를 설계하여, 각 개념당 최소 50장의 이미지가 존재하며, 한 장의 이미지는 유추 학습에 사용되고, 나머지는 일반화 평가에 사용된다.
• 유능성, 일반화, 특이성, 유창성, 다양성 등의 다차원 평가 체계를 정의하여 유추 학습 성능을 평가하기 위해.
• 각 개념당 단일 이미지에서 기울기 기반 미세조정을 수행하여 대규모 유추 학습 데이터셋이 필요로 하는 자원을 최소화하기 위해.

Figure 1 : Overview of the Unlearning Process in MLLMs Using SIU. The process starts with a user request to unlearn the visual recognition of concepts, utilizing MMUBench (introduced in Section 5 ) to provide concepts for unlearning. SIU has two elements which are Multifaceted Fine-tuning Data and D

실험 결과

연구 질문

• RQ1 기계 유추 학습이 다중모달 대규모 언어 모델(MLLMs)에서 시각적 개념을 잊는 데 효과적으로 적용될 수 있는가?
• RQ2 대규모 유추 학습 데이터셋이 필요 없이 개념당 단일 이미지만으로도 효율적인 유추 학습이 가능할 수 있는가?
• RQ3 제안된 SIU 방법이 타겟 시각 지식을 효과적으로 잊으면서도 모델의 유용성을 유지하는가?
• RQ4 유능성, 일반화 및 내성성 측면에서 기존의 유추 학습 방법과 비교해 SIU는 어떻게 성능을 발휘하는가?
• RQ5 SIU는 소유자 식별 및 잠금 해제 공격 등의 침입 공격에 저항할 수 있는가?

주요 결과

• SIU는 MMUBench 벤치마크에서 모든 평가 지표에서 기존 방법들을 완전히 압도하여 뛰어난 유능성과 일반화 능력을 입증한다.
• 개념당 단일 이미지만으로도 시각적 개념의 효과적인 유추 학습이 가능하여 데이터 및 계산 자원 요구량을 크게 감소시킨다.
• 유추 학습 후 모델의 응답에서 높은 유창성과 다양성을 유지하여 의미 없거나 모순된 출력을 방지한다.
• SIU는 소유자 식별 및 잠금 해제 공격에 대해 뛰어난 내성성을 보이며, 향상된 보안 성질을 가짐을 시사한다.
• 제안된 이중 마스킹 KL 발산 손실은 미세조정 과정에서 유추 학습과 유용성 유지의 균형을 효과적으로 달성한다.
• 벤치마크인 MMUBench는 MLLMs에서 기계 유추 학습을 종합적이고 표준화된 방식으로 평가할 수 있게 하여 향후 연구의 새로운 기준을 설정한다.

Figure 6 : Candidate names for targeted unlearning concepts.