[논문 리뷰] Adversarial Attack and Defense in Deep Ranking

Mo Zhou, Le Wang외 4명|arXiv (Cornell University)|2021. 06. 07.

Adversarial Robustness in Machine Learning참고 문헌 41인용 수 6

한 줄 요약

이 논문은 딥 랭킹 모델을 대상으로 하여 임베딩을 조작하여 순서를 변경하는 펌터베이션을 통해 랭킹 순서를 조작하는 두 가지 새로운 적대적 공격—Candidate Attack 및 Query Attack—을 제안한다. 또한 모델의 붕괴를 방지하는 타이트한 삼중항 방어 기법을 도입하여 공격에 대한 강건성을 크게 향상시키며, 여러 벤치마크에서 정상 데이터에 대한 성능을 유지한다.

ABSTRACT

Deep Neural Network classifiers are vulnerable to adversarial attack, where an imperceptible perturbation could result in misclassification. However, the vulnerability of DNN-based image ranking systems remains under-explored. In this paper, we propose two attacks against deep ranking systems, i.e., Candidate Attack and Query Attack, that can raise or lower the rank of chosen candidates by adversarial perturbations. Specifically, the expected ranking order is first represented as a set of inequalities, and then a triplet-like objective function is designed to obtain the optimal perturbation. Conversely, an anti-collapse triplet defense is proposed to improve the ranking model robustness against all proposed attacks, where the model learns to prevent the positive and negative samples being pulled close to each other by adversarial attack. To comprehensively measure the empirical adversarial robustness of a ranking model with our defense, we propose an empirical robustness score, which involves a set of representative attacks against ranking models. Our adversarial ranking attacks and defenses are evaluated on MNIST, Fashion-MNIST, CUB200-2011, CARS196 and Stanford Online Products datasets. Experimental results demonstrate that a typical deep ranking system can be effectively compromised by our attacks. Nevertheless, our defense can significantly improve the ranking system robustness, and simultaneously mitigate a wide range of attacks.

연구 동기 및 목표

• 분류 문제에서 알려진 위험에도 불구하고 아직 잘 다뤄지지 않은 바, 딥 랭킹 모델이 적대적 펌터베이션에 취약한지 조사하는 것.
• 후보 또는 쿼리 이미지를 펌터베이션하여 랭킹 결과를 조작하는 타겟된 적대적 공격—Candidate Attack 및 Query Attack—을 설계하는 것.
• 적대적 훈련 중에 모델 붕괴를 방지하고 다양한 공격 유형에 대한 강건성을 향상시키는 방어 기법을 개발하는 것.
• 다양한 공격 시나리오에서 방어 성능을 종합적으로 평가할 수 있는 경험적 강건성 점수를 제안하는 것.
• 표준 적대적 훈련 방법이 랭킹 작업에 실패하는 이유는 모델 붕괴 때문이며, 이에 따라 새로운 방어 전략이 필수적임을 보여주는 것.

제안 방법

• 적대적 펌터베이션 생성을 안내하기 위해 원하는 랭킹 순서를 부등식의 집합으로 표현하는 것.
• 임베딩을 원하는 랭킹 위치로 이동시키는 펌터베이션을 최적화하기 위해 삼중항 유사 목적 함수를 설계하는 것.
• 랭킹 제약 조건을 만족하는 적대적 예제를 효율적으로 생성하기 위해 Projected Gradient Descent (PGD)를 사용하는 것.
• 공격으로 인한 임베딩 이동을 억제하기 위해 Embedding-Shifted Triplet (EST) 방어 기법을 제안하는 것.
• 학습 중에 양성 및 음성 샘플이 임베딩 공간에서 붕괴되는 것을 방지하기 위해 anti-collapse 삼중항 방어 기법을 도입하는 것.
• 다양한 공격 유형과 데이터셋을 포함한 종합적인 경험적 강건성 점수를 사용해 방어 기법을 평가하는 것.

실험 결과

연구 질문

• RQ1 쿼리 또는 후보 이미지를 수정함으로써 적대적 펌터베이션이 딥 랭킹 모델의 랭킹 순서를 효과적으로 조작할 수 있는가?
• RQ2 표준 적대적 훈련이 딥 랭킹 모델에서 왜 실패하는가? 이 맥락에서 모델 붕괴는 무엇에 의해 발생하는가?
• RQ3 정상 데이터에 대한 성능을 떨어뜨리지 않으면서도, 적대적 공격으로 인한 임베딩 이동을 방지할 수 있는 방어 기법을 설계할 수 있는가?
• RQ4 제안된 anti-collapse 삼중항 방어 기법은 다양한 공격 유형과 데이터셋에서 강건성을 얼마나 효과적으로 향상시키는가?
• RQ5 경험적 강건성 점수가 랭킹 시스템에서 방어 성능을 신뢰할 수 있고 종합적으로 평가하는 데에 효과적인가?

주요 결과

• 제안된 Candidate Attack 및 Query Attack은 MNIST, Fashion-MNIST, CUB200-2011, CARS196, Stanford Online Products에서 랭킹 결과를 성공적으로 조작한다.
• 표준 적대적 훈련은 딥 랭킹 모델에서 모델 붕괴를 유도하며, 양성 및 음성 샘플이 임베딩 공간에서 너무 가까이 끌려오는 현상이 발생한다.
• anti-collapse 삼중항 방어 기법은 강건성을 크게 향상시키며, 공격 성공률(예: CA+ 및 QA- 공격)을 감소시키면서도 정상 예제에 대한 높은 성능을 유지한다.
• 경험적 강건성 점수는 다양한 공격 유형에서의 방어 성능을 효과적으로 포착하며, 더 강력한 공격이 더 나은 방어 학습을 이끌어낸다는 점을 드러낸다.
• FGSM을 PGD 대신 사용하여 적대적 데이터를 생성할 경우 강건성이 떨어지며, 이는 공격 강도가 방어 효과에 직접적인 영향을 미친다는 것을 확인한다.
• anti-collapse 삼중항 방어 기법은 EST 방어 기법보다 강건성과 일반화 능력에서 뛰어나며, 모든 데이터셋에서 R@1, mAP, NMI 향상이 관찰된다.