[논문 리뷰] Meaningful Adversarial Stickers for Face Recognition in Physical World.

Ying Guo, Xingxing Wei외 2명|arXiv (Cornell University)|2021. 04. 14.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 17

한 줄 요약

이 논문은 일상적인 스티커를 사용하여 실물로 구현 가능한 공격을 위한 의미 있는 적대적 스티커를 제안한다. 최적화된 부착 파라미터를 활용해 얼굴 인식 시스템을 회피한다. 위치, 회전 각도 등 다양한 파라미터를 최적화하기 위해 영역 기반 히우리스틱 미분 알고리즘을 적용함으로써, 500회 미만의 쿼리로 블랙박스 환경에서 FaceNet, SphereFace, CosFace에 대해 각각 81.78%, 79.26%의 공격 성공률를 달성하며, 물리적 환경에서의 동적 자세 변화 조건에서도 높은 성공률 유지.

ABSTRACT

Face recognition (FR) systems have been widely applied in safety-critical fields with the introduction of deep learning. However, the existence of adversarial examples brings potential security risks to FR systems. To identify their vulnerability and help improve their robustness, in this paper, we propose Meaningful Adversarial Stickers, a physically feasible and easily implemented attack method by using meaningful real stickers existing in our life, where the attackers manipulate the pasting parameters of stickers on the face, instead of designing perturbation patterns and then printing them like most existing works. We conduct attacks in the black-box setting with limited information which is more challenging and practical. To effectively solve the pasting position, rotation angle, and other parameters of the stickers, we design Region based Heuristic Differential Algorithm, which utilizes the inbreeding strategy based on regional aggregation of effective solutions and the adaptive adjustment strategy of evaluation criteria. Extensive experiments are conducted on two public datasets including LFW and CelebA with respective to three representative FR models like FaceNet, SphereFace, and CosFace, achieving attack success rates of 81.78%, 72.93%, and 79.26% respectively with only hundreds of queries. The results in the physical world confirm the effectiveness of our method in complex physical conditions. When continuously changing the face posture of testers, the method can still perform successful attacks up to 98.46%, 91.30% and 86.96% in the time series.

연구 동기 및 목표

• 사용자 정의된 프린트된 편향이 아닌 일상적인 스티커를 사용하여 실물로 실행 가능한 공격 방법을 개발한다.
• 실제 공격 환경의 제약 조건을 반영하기 위해 제한된 쿼리 접근이 가능한 블랙박스 공격 문제를 해결한다.
• 공격 성공률를 극대화하기 위해 위치, 회전 각도, 크기 등 스티커 부착 파라미터를 최적화한다.
• 실물 환경에서의 다양한 얼굴 자세 변화 및 동적 조건에 대비한 강건성을 확보한다.
• 기존의 인위적인 노이즈 패턴이 아닌 실제 의미를 지닌 실생활 스티커를 사용함으로써 공격의 실용성과 은밀성을 향상시킨다.

제안 방법

• 실생활에서 사용하는 실제 의미 있는 스티커를 적대적 패치로 활용하여, 맞춤형 프린트된 편향이 필요 없도록 한다.
• 스티커 부착 위치를 최적화하기 위해 영역 기반 히우리스틱 미분 알고리즘을 제안하며, 효과적인 해를 지역 집합을 통해 내재화함으로써 개선한다.
• 수렴성과 해 품질 향상을 위해 적응형 평가 기준 조정 전략을 도입한다.
• 실제 위협 모델을 반영하기 위해 제한된 쿼리 접근이 가능한 블랙박스 설정에서 공격를 수행한다.
• 물리적 제약 조건 하에서 위치, 회전 각도, 크기 등 다중 파라미터를 동시에 최적화하여 오분류를 극대화한다.
• 시간 순서적 물리적 시나리오에서 다양한 자세를 가진 실제 얼굴에 대해 평가하여 강건성을 테스트한다.

실험 결과

연구 질문

• RQ1 일상적인 물체로 구성된 실물로 실행 가능한 적대적 스티커는 실생활 얼굴 인식 시스템에서 높은 공격 성공률를 달성할 수 있는가?
• RQ2 제안된 영역 기반 히우리스틱 미분 알고리즘이 제한된 블랙박스 조건에서 스티커 부착 위치를 얼마나 효과적으로 최적화하는가?
• RQ3 물리적 환경에서 얼굴 자세가 지속적으로 변화하는 상황에서도 공격 성공률는 유지되는가?
• RQ4 최소한의 쿼리로도 공격 성공률를 확보할 수 있어 실생활 배포에 실용적인가?
• RQ5 기존의 프린트된 적대적 패턴과 비교해 실제 의미 있는 스티커 사용이 은밀성과 실현 가능성에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 블랙박스 환경에서 몇백 회 미만의 쿼리로 FaceNet에 81.78%, SphereFace에 72.93%, CosFace에 79.26%의 공격 성공률를 달성하였다.
• 지속적으로 변화하는 얼굴 자세를 가진 동적 물리적 조건에서도, 각각 FaceNet에 98.46%, SphereFace에 91.30%, CosFace에 86.96%의 공격 성공률를 유지하였다.
• 영역 기반 히우리스틱 미분 알고리즘이 제한된 쿼리 예산 내에서도 효과적으로 스티커 파라미터를 최적화하여 높은 성능을 달성하였다.
• 실제 의미 있는 스티커 사용으로 기존의 프린트된 적대적 패턴 대비 실물 실행 가능성과 은밀성이 향상되었다.
• 자세 변화에 대한 강건성이 뛰어나 실생활 배포 환경에서의 실현 가능성을 확인하였다.
• 실생활 물체와 지능적인 파라미터 최적화를 활용할 경우, 물리적 환경에서의 적대적 공격가 실용적이고 매우 효과적일 수 있음을 결과가 확인하였다.