[논문 리뷰] Data Poisoning Attacks Against Multimodal Encoders

Ziqing Yang, Xinlei He외 5명|arXiv (Cornell University)|2022. 09. 30.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 다중모odal 인코더에 대한 데이터 풀링 공격에 대한 최초의 종합적 연구를 제시하며, 시각적 및 언어적 모odal을 동시에 타깃으로 삼는다. 높은 성공률을 달성하는 세 가지 공격 유형을 제안하며, 예를 들어 '양'이라는 텍스트를 비행기 이미지로 잘못 라우팅하는 데 있어 상위 5개 정답 정확도가 91.8%에 이르며, 모델의 유용성은 유지한다. 또한 새로운 사전학습 및 사후학습 방어 기법을 도입하여 공격을 효과적으로 완화하면서 성능 저하를 최소화한다.

ABSTRACT

Recently, the newly emerged multimodal models, which leverage both visual and linguistic modalities to train powerful encoders, have gained increasing attention. However, learning from a large-scale unlabeled dataset also exposes the model to the risk of potential poisoning attacks, whereby the adversary aims to perturb the model's training data to trigger malicious behaviors in it. In contrast to previous work, only poisoning visual modality, in this work, we take the first step to studying poisoning attacks against multimodal models in both visual and linguistic modalities. Specially, we focus on answering two questions: (1) Is the linguistic modality also vulnerable to poisoning attacks? and (2) Which modality is most vulnerable? To answer the two questions, we propose three types of poisoning attacks against multimodal models. Extensive evaluations on different datasets and model architectures show that all three attacks can achieve significant attack performance while maintaining model utility in both visual and linguistic modalities. Furthermore, we observe that the poisoning effect differs between different modalities. To mitigate the attacks, we propose both pre-training and post-training defenses. We empirically show that both defenses can significantly reduce the attack performance while preserving the model's utility.

연구 동기 및 목표

• 다중모달 모델에서 언어 모달이 데이터 풀링 공격에 취약한지 조사한다.
• 풀링 공격에 대한 시각적 모달과 언어적 모달의 상대적 취약도를 비교한다.
• 다중모달 학습 시스템에서의 풀링 공격에 효과적인 방어 조치를 개발한다.
• 다양한 데이터셋과 모델 아키텍처를 기반으로 공격 및 방어 성능을 평가한다.
• 풀링 공격이 성능 지표 측면에서 시각적 및 언어 인코더에 어떻게 다르게 영향을 미치는지 입증한다.

제안 방법

• 대비 학습 기반의 다중모달 모델에서 시각적 및 언어적 인코더를 동시에 타깃으로 삼는 세 가지 풀링 공격 유형을 제안한다.
• 학습 데이터에 유해 샘플을 삽입하여 텍스트 및 이미지 임베딩을 타깃 클래스로 잘못 정렬하도록 공격한다.
• 텍스트 및 이미지 인코더가 쌍체 데이터에서 공동으로 훈련되는 이중 브랜치 대비 학습 프레임워크를 구현한다.
• 깨끗한 데이터로 모델을 재학습하여 유해한 정렬을 방해함으로써 사전학습 방어를 구현한다.
• 적절히 선택된 학습률로 깨끗한 데이터에서의 피니튜닝을 통해 사후학습 방어를 적용하여 공격으로 인한 편향을 제거한다.
• Flickr-PASCAL 및 COCO와 같은 데이터셋에서 검색 작업의 성능 평가 지표인 Hit@K, MinRank, 정확도 등을 사용해 공격 성공률을 평가한다.

실험 결과

연구 질문

• RQ1 언어 모달도 시각 모달와 마찬가지로 다중모달 모델에서 데이터 풀링 공격에 취약한가?
• RQ2 공격 성공률과 영향 측면에서 시각 모달과 언어 모달 중 어느 것이 더 풀링 공격에 취약한가?
• RQ3 풀링 공격이 시각적 및 언어 인코더의 성능에 어떻게 다르게 영향을 미치는가?
• RQ4 사전학습 및 사후학습 방어가 모델의 유용성을 떨어뜨리지 않으면서 풀링 공격을 효과적으로 완화할 수 있는가?
• RQ5 학습률, 피니튜닝 에포크 수 등 어떤 초모수(예: 학습률, 피니튜닝 에포크 수)가 방어 효과성에 가장 크게 영향을 미치는가?

주요 결과

• 제안된 풀링 공격은 Flickr-PASCAL 데이터셋에서 '양'이라는 텍스트를 비행기 이미지로 잘못 라우팅하는 데 있어 상위 5개 정답 정확도가 0.918에 이른다.
• 시각 모달을 풀링하면 MinRank가 크게 향상된다(예: 공격 II에서 2.192), 이는 타깃 이미지와의 정렬이 향상되었음을 시사한다.
• 언어 모달을 풀링하면 Hit@1 및 Hit@5 점수가 높아진다(예: 0.280 및 0.864), 이는 즉각적인 검색 편향이 강하다는 것을 보여준다.
• 10^-5 학습률로 피니튜닝을 수행한 사후학습 방어는 Hit@10 성능을 0.936에서 0.008로 감소시켜 강력한 완화 효과를 입증한다.
• 사전학습 방어는 유해한 정렬을 효과적으로 방해하여 피니튜닝 이전에도 공격 성공률을 감소시킨다.
• 피니튜닝을 단 한 에포크만 수행해도 방어가 효과적이며, 첫 50배치 내에서 성능이 급격히 감소한다(0.936에서 0.032로 Hit@10 감소).