[논문 리뷰] T$_k$ML-AP: Adversarial Attacks to Top-$k$ Multi-Label Learning

Shu Hu, Lipeng Ke외 2명|arXiv (Cornell University)|2021. 07. 31.

Adversarial Robustness in Machine Learning참고 문헌 24인용 수 4

한 줄 요약

이 논문은 연속적이고 볼록인 손실 함수를 사용하여 레이블 순위를 조작함으로써, 최상위-$k$ 다중 레이블 학습(T$k$ML) 시스템을 대상으로 하는 최초의 화이트박스 적대적 공격 프레임워크인 T$_k$ML-AP를 제안한다. 지도 레이블이나 대상 레이블을 최상위-$k$ 예측에서 밖으로 또는 안으로 이동시키는 데 성공적으로 최소한의 변형을 사용하여, MS COCO에서 최대 100%의 공격 성공률을 달성한다.

ABSTRACT

Top-$k$ multi-label learning, which returns the top-$k$ predicted labels from an input, has many practical applications such as image annotation, document analysis, and web search engine. However, the vulnerabilities of such algorithms with regards to dedicated adversarial perturbation attacks have not been extensively studied previously. In this work, we develop methods to create adversarial perturbations that can be used to attack top-$k$ multi-label learning-based image annotation systems (TkML-AP). Our methods explicitly consider the top-$k$ ranking relation and are based on novel loss functions. Experimental evaluations on large-scale benchmark datasets including PASCAL VOC and MS COCO demonstrate the effectiveness of our methods in reducing the performance of state-of-the-art top-$k$ multi-label learning methods, under both untargeted and targeted attacks.

연구 동기 및 목표

• 최상위-$k$ 다중 레이블 학습(T$k$ML) 시스템을 대상으로 하는 체계적인 적대적 공격 방법의 부족을 해결하고자 한다. 이는 이미지 애너테이션 및 웹 검색에서 널리 사용되는 분야이다.
• T$k$ML 분류기의 최상위-$k$ 순위 행동을 명시적으로 모델링하는 공격 전략을 개발하고자 한다. 이는 표준 다중 클래스 문제로 간주하는 것이 아니라, 최상위-$k$ 순위 특성을 고려한 전략을 수립하고자 하는 것이다.
• 개별 예측 점수에 대해 볼록인 손실 함수를 설계하여 효율적인 최적화와 강력한 적대적 변형 생성을 가능하게 하고자 한다.
• PASCAL VOC 및 MS COCO와 같은 대규모 벤치마크에서 비대상 및 대상 설정 모두에서 제안된 공격의 효과성을 평가하고자 한다.
• 실제 T$k$ML 응용 프로그램에서 모델 성능을 안정적으로 저하시키는 효과적이고 낮은 크기의 변형을 생성할 수 있음을 입증하고자 한다.

제안 방법

• 비미분 가능 최상위-$k$ 순위 연산을 연속적 근사로 재구성하여 기울기 기반 최적화를 가능하게 한다.
• 최상위-$k$ 순위 이동을 직접 목표로 하는 새로운 볼록 손실 함수를 설계한다. 이는 지도 레이블을 최상위-$k$에서 제거하거나 대상 레이블을 최상위-$k$에 삽입하는 것을 목표로 한다.
• 기울기 하강법을 사용하여 손실을 최소화하면서도 입력 특징에 대한 변화를 최소화하여 눈에 띄지 않는 변형을 최적화한다.
• 모든 공격 시나리오에서의 강건성을 평가하기 위해 개별 인스턴스 기반 및 유니버설 적대적 공격 변형(T$_k$ML-AP-Uv)을 구현한다.
• 예측 점수를 시그모이드 유사 전환을 사용하여 [0,1] 범위로 캘리브레이션하여 표준 다중 레이블 학습 가정과 일치시킨다.
• PASCAL VOC 2012 및 MS COCO 2014를 벤치마크 데이터셋으로 사용하여 최신 T$k$ML 모델에 공격 프레임워크를 적용하고 평가한다.

실험 결과

연구 질문

• RQ1 최상위-$k$ 다중 레이블 학습 시스템은 표준 다중 클래스 분류와 근본적으로 다름을 감안할 때, 어떻게 효과적으로 적대적 공격를 설계할 수 있는가?
• RQ2 연속적이고 미분 가능한 손실 함수를 사용하여 최상위-$k$ 순위 이동을 모델링하고 최적화함으로써 효율적이고 효과적인 적대적 변형 생성이 가능한가?
• RQ3 제안된 공격는 비대상 및 대상 설정 모두에서 어떻게 성능을 발휘하는가? 특히 대상 레이블이 진짜 레이블과 의미적으로 거리가 먼 경우 어떻게 되는가?
• RQ4 T$k$ML의 유니버설 공격와 개별 인스턴스 기반 공격 간에 공격 성공률와 변형 크기 사이의 상호 교환 관계는 어떠한가?
• RQ5 공격 성능은 $k$가 증가함에 따라 어떻게 변화하는가? 또한 진짜 레이블과 대상 레이블 간의 의미적 거리가 공격 난이도에 영향을 미치는가?

주요 결과

• T$_k$ML-AP는 MS COCO 2014 데이터셋에서 $k=3$일 때 대상 공격에서 100%의 공격 성공률(ASR)을 기록하여 기준 방법들을 초월했다.
• PASCAL VOC 2012에서 $k=3$일 때 대상 공격에서 96.6%의 ASR을 달성하여 도전적인 환경에서도 높은 효과성을 입증했다.
• 유니버설 공격 변형(T$_k$ML-AP-Uv)은 MS COCO에서 모든 $k$ 값에서 $k$-UAPs를 능가했으며, 성공을 위해 더 낮은 변형 크기를 요구했다.
• 공격 성공률는 $k$가 증가함에 따라 감소했으며, 이는 최상위-$k$ 집합에서 더 많은 레이블을 재배치해야 하므로 공격 난이도가 증가했음을 확인했다.
• 가장 악조건인 대상 레이블이 진짜 레이블과 의미적으로 거리가 먼 경우에도 T$_k$ML-AP-T는 $k=10$일 때 73.1%의 ASR을 기록하여 의미적 난이도에 대비한 강건성을 보였다.
• 시각적 비교를 통해 T$_k$ML-AP-Uv가 $k$-UAPs보다 더 작은, 더 일관된 변형을 사용하여 모든 최상위-$k$ 레이블을 성공적으로 공격했으며, 일부 이미지에서는 $k$-UAPs가 실패한 것을 확인했다.