[논문 리뷰] Adversarial Examples that Fool both Computer Vision and Time-Limited Humans

Gamaleldin F. Elsayed, Shreya Shankar외 5명|arXiv (Cornell University)|2018. 02. 22.

Adversarial Robustness in Machine Learning인용 수 155

한 줄 요약

CNN 간에 전이되는 적대적 섭동은 시간 제한 인간 판단에 편향을 주고 오류율을 높일 수 있으며, 기계와 인간 시각 간에 공유되는 실패 모드를 드러낸다.

ABSTRACT

Machine learning models are vulnerable to adversarial examples: small changes to images can cause computer vision models to make mistakes such as identifying a school bus as an ostrich. However, it is still an open question whether humans are prone to similar mistakes. Here, we address this question by leveraging recent techniques that transfer adversarial examples from computer vision models with known parameters and architecture to other models with unknown parameters and architecture, and by matching the initial processing of the human visual system. We find that adversarial examples that strongly transfer across computer vision models influence the classifications made by time-limited human observers.

연구 동기 및 목표

• 컴퓨터 비전 모델을 속이는 적대적 예제가 시간 제약 하에서도 인간 지각에 영향을 주는지 조사한다.
• 초기 인간 시각 처리 과정을 CNN 입력과 일치시켜 머신러닝과 신경과학을 연결한다.
• 여러 CNN 앙상블로부터 시간 제한 인간 관찰자에게로의 적대적 섭동의 전이 가능성을 측정한다.

제안 방법

• 인셉션(Inception) 및 레스넷(ResNet) 변형을 포함한 10개의 CNN 모델 앙상블을 구성하고, 인간의 초기 시야를 모방하기 위해 망막 전처리 계층을 적용한다.
• 모델 앙상블 전반에서 잘못 분류를 유발하도록 유계된 L-∞ 노름으로 표적화된 적대적 섭동을 생성한다.
• 모델 아키텍처나 매개변수에 대한 접근을 필요로 하지 않는 블랙박스 적대적 공격 방식을 사용한다.
• 이미지를 마스크로 짧게 제시하여 시간 제한 인간 피험자에게 피드포워드 처리와 상향식(top-down) 영향 제한을 모방한다.
• 여러 이미지 그룹(pets, vegetables, hazards)에 대해 2-대 선택 강제 과제에서 인간의 판단을 평가한다.
• 지배 조건(원본 이미지, 뒤집기) 및 거짓 조건과 대조하여 지각적 영향을 분리한다.

실험 결과

연구 질문

• RQ1 CNN 간에 전이되는 적대적 예제가 시간 제한 인간 지각에 편향을 주는가?
• RQ2 망막과 유사한 전처리가 인간으로의 적대적 섭동 전이과정에 어떤 영향을 미치는가?
• RQ3 짧은 제시 기간에서 적대적 섭동이 인간의 정확도와 판단 시간에 미치는 영향은 무엇인가?
• RQ4 참된 클래스가 이용 가능할 때도 적대적 섭동이 잘못된 선택을 강요할 수 있는가?

주요 결과

• 시간 제한 인간으로 전이된 적대적 섭동은 대상이 된 잘못된 클래스로 선택을 편향시킨다.
• 적대적 이미지는 깨끗한 이미지에 비해 인간의 정확도를 감소시켰고, 섭동은 수직 반전(플립) 대조보다 강했다.
• 적대적 조건에서 반응 시간이 증가했고, 더 빠른 판단은 목표 클래스에 더 강한 편향을 보였다.
• 인간으로의 전이 성공은 이미지 그룹에 따라 달랐으며, 위험 이미지가 애완동물보다 더 강한 편향을 보였고, 애완동물이 채소보다 더 강했다.
• 정답 클래스가 가능하더라도 적대적 섭동은 기본 이미지 조건을 넘는 오류율을 증가시켰다.