[논문 리뷰] Evaluation of Momentum Diverse Input Iterative Fast Gradient Sign Method (M-DI2-FGSM) Based Attack Method on MCS 2018 Adversarial Attacks on Black Box Face Recognition System

Md Ashraful Alam Milton|arXiv (Cornell University)|2018. 06. 23.

Adversarial Robustness in Machine Learning인용 수 14

한 줄 요약

이 논문은 얼굴 인식 시스템에 대한 대상 블랙박스 적대적 공격을 위해 동량 다각도 입력 반복적 빠른 부호 부호 방법(M-DI2-FGSM)을 평가하며, MCS 2018 도전 대회에 적용하였다. 이 방법은 검증 점수 1.404를 기록하여 기준 점수 1.407을 초월하고 참가 팀 132개 중 14위를 기록하여 모델 내부 구조에 대한 접근이 제한된 환경에서 이동 가능한 적대적 예제를 효과적으로 생성하는 것을 입증하였다.

ABSTRACT

The convolutional neural network is the crucial tool for the recent success of deep learning based methods on various computer vision tasks like classification, segmentation, and detection. Convolutional neural networks achieved state-of-the-art performance in these tasks and every day pushing the limit of computer vision and AI. However, adversarial attack on computer vision systems is threatening their application in the real life and in safety-critical applications. Necessarily, Finding adversarial examples are important to detect susceptible models to attack and take safeguard measures to overcome the adversarial attacks. In this regard, MCS 2018 Adversarial Attacks on Black Box Face Recognition challenge aims to facilitate the research of finding new adversarial attack techniques and their effectiveness in generating adversarial examples. In this challenge, the attack"s nature is targeted-attack on the black-box neural network where we have no knowledge about black-block"s inner structure. The attacker must modify a set of five images of a single person so that the neural network miss-classify them as target image which is a set of five images of another person. In this competition, we applied Momentum Diverse Input Iterative Fast Gradient Sign Method (M-DI2-FGSM) to make an adversarial attack on black-box face recognition system. We tested our method on MCS 2018 Adversarial Attacks on Black Box Face Recognition challenge and found competitive result. Our solution got validation score 1.404 which better than baseline score 1.407 and stood 14 place among 132 teams in the leader-board. Further improvement can be achieved by finding improved feature extraction from source image, carefully chosen hyper-parameters, finding improved substitute model of the black-box and better optimization method.

연구 동기 및 목표

• 내부 모델 구조에 대한 접근이 없는 블랙박스 얼굴 인식 시스템에 대해 효과적인 대상 적대적 공격을 개발하는 것.
• M-DI2-FGSM 방법이 얼굴 인식을 위한 이동 가능한 적대적 예제를 생성하는 데서의 성능을 평가하는 것.
• MCS 2018 블랙박스 얼굴 인식 시스템에 대한 적대적 공격 도전 대회에서 기준 공격 성능을 향상시키는 것.
• 특성 추출, 하이퍼파rameter, 대체 모델, 최적화와 같은 요소들이 공격 성공률 향상에 기여할 수 있는지 규명하는 것.

제안 방법

• M-DI2-FGSM 방법은 동량 기반 기울기 갱신과 다양한 입력 편향을 결합하여 공격의 이동성을 향상시킨다.
• 모델의 기울기 정보를 직접 사용하지 않고도 최적화 과정을 안정화하고 가속화하기 위해 반복적 FGSM 업데이트를 동량을 사용하여 적용한다.
• 각 기울기 단계 이전에 입력 이미지에 무작위 변환(예: 스케일링, 자르기)을 적용하여 다양한 입력 편향을 생성한다.
• 공격은 대상 공격 방식이며, 한 사람의 다섯 개의 소스 이미지를 수정하여 얼굴 인식 시스템에서 목표로 삼은 사람의 이미지로 잘못 분류되게 한다.
• 블랙박스 제약 조건 하에서 작동하며, 기울기 또는 아키텍처 정보에 접근하지 않고도 예측 결과만을 활용한다.
• 스텝 크기, 반복 횟수, 동량 계수 등의 하이퍼파rameter를 조정하여 공격 성공률를 최대화하였다.

실험 결과

연구 질문

• RQ1 M-DI2-FGSM은 블랙박스 얼굴 인식 시스템에 대해 이동 가능한 적대적 예제를 얼마나 효과적으로 생성하는가?
• RQ2 동량과 다양한 입력 전략은 대상 적대적 공격의 이동성과 성공률를 향상시킬 수 있는가?
• RQ3 строго한 블랙박스 제약 조건 하에서 MCS 2018 도전 대회에서 M-DI2-FGSM은 기준 방법과 비교해 어떻게 성능을 내는가?
• RQ4 특성 추출의 품질과 대체 모델 선택은 공격 성능 향상에 어떤 역할을 하는가?
• RQ5 실제 블랙박스 환경에서 최적의 공격 성공률를 얻기 위한 하이퍼파rameter 설정은 무엇인가?

주요 결과

• M-DI2-FGSM 방법은 MCS 2018 도전 대회에서 검증 점수 1.404를 기록하여 기준 점수 1.407을 초월하였다.
• 리더보드에서 참가 팀 132개 중 14위를 기록하여 경쟁적인 실세계 블랙박스 공격 환경에서 뛰어난 성능을 입증하였다.
• 공격는 성공적으로 대상 적대적 예제를 생성하여 블랙박스 얼굴 인식 시스템이 소스 이미지를 목표 이미지로 잘못 분류하도록 유도하였다.
• 특성 추출 향상, 하이퍼파rameter 조정, 대체 모델 설계, 최적화 방법 개선 등이 향후 성능 향상의 핵심 요소로 규명되었다.
• 동량과 다양한 입력 전략의 사용은 다양한 모델 아키텍처 간에 적대적 예제의 이동성과 강건성을 크게 향상시켰다.
• 대상 모델의 내부 구조에 대한 접근이 제한된 상황에서도 이 방법은 뛰어난 일반화 능력을 보였다.