[논문 리뷰] Traits & Transferability of Adversarial Examples against Instance Segmentation & Object Detection.

Raghav Gurbaxani, Shivank Mishra|arXiv (Cornell University)|2018. 08. 04.

Adversarial Robustness in Machine Learning참고 문헌 18인용 수 3

한 줄 요약

이 논문은 인스턴스 세분화 및 객체 검출 모델에 대한 적대적 예제의 이동 가능성과 내성에 대해 조사한다. FGSM, DeepFool, C&W L2 공격를 사용하여, 실제 환경의 변환(예: 스케일링, 회전, 조명 변화) 하에서 적대적 편향이 비효율적이 되는 것을 입증한다. 특히 임계값을 초과하면 이러한 현상이 더욱 두드러지며, 이는 복잡한 비전 파ip라인에서의 네트워크 간 및 작업 간 이동 가능성에 제한을 둔다.

ABSTRACT

Despite the recent advancements in deploying neural networks for image classification, it has been found that adversarial examples are able to fool these models leading them to misclassify the images. Since these models are now being widely deployed, we provide an insight on the threat of these adversarial examples by evaluating their characteristics and transferability to more complex models that utilize Image Classification as a subtask. We demonstrate the ineffectiveness of adversarial examples when applied to Instance Segmentation & Object Detection models. We show that this ineffectiveness arises from the inability of adversarial examples to withstand transformations such as scaling or a change in lighting conditions. Moreover, we show that there exists a small threshold below which the adversarial property is retained while applying these input transformations. Additionally, these attacks demonstrate weak cross-network transferability across neural network architectures, e.g. VGG16 and ResNet50, however, the attack may fool both the networks if passed sequentially through networks during its formation. The lack of scalability and transferability challenges the question of how adversarial images would be effective in the real world.

연구 동기 및 목표

• 복잡한 비전 모델(예: 인스턴스 세분화 및 객체 검출)을 속이는데 적대적 예제의 효과성을 평가하기 위해.
• 실제 이미지 변환(스케일링, 회전, 조명)이 적대적 내성에 미치는 영향을 조사하기 위해.
• 다양한 아키텍처(예: VGG16, ResNet50) 간에 적대적 공격의 네트워크 간 이동 가능성 평가하기 위해.
• 분류에서 캡션 생성 또는 검출 작업으로의 적대적 예제 이동 가능성 탐색하기 위해.
• 다양한 모델을 동시에 속일 수 있도록 다중 네트워크를 거쳐 적대적 예제를 순차적으로 생성함으로써 성능 향상 여부 결정하기 위해.

제안 방법

• ImageNet 미리 학습된 모델에 대상 및 비대상 FGSM, DeepFool, C&W L2 공격를 적용하였다.
• 자르기, 스케일링, 회전, 조명 조정 등의 입력 변환을 적용하여 내성 평가를 수행하였다.
• 변환 후에도 적대적 성질이 유지되는 최소 편향 크기를 식별하기 위해 임계값 기반 분석을 사용하였다.
• 동일 데이터셋, 다른 모델(네트워크 간) 및 다른 데이터셋, 유사 아키텍처(작업 간) 설정을 통해 아키텍처 간 이동 가능성 평가를 수행하였다.
• 예를 들어 ResNet50 → VGG16 순서로 다중 네트워크를 거쳐 적대적 이미지를 순차적으로 생성하여 동시에 여러 모델을 속일 수 있는지 테스트하였다.
• 미리 학습된 모델을 사용해 인스턴스 세분화, 객체 검출, 이미지 캡션 생성 등의 후행 작업에서의 공격 성공률 평가를 수행하였다.

실험 결과

연구 질문

• RQ1 일반적인 이미지 변환(스케일링, 회전, 조명)이 복잡한 비전 작업에서의 적대적 예제 내성에 어떤 영향을 미치는가?
• RQ2 변환 후에도 적대적 편향이 효과를 유지할 수 있는 최소 임계값은 무엇인가?
• RQ3 ImageNet에서 다양한 신경망 아키텍처(예: VGG16 대비 ResNet50) 간에 적대적 예제의 이동 가능성은 어느 정도인가?
• RQ4 실제 환경 조건 하에서 적대적 예제가 인스턴스 세분화 및 객체 검출 모델을 성공적으로 속일 수 있는가?
• RQ5 다양한 네트워크를 거쳐 순차적으로 적대적 예제를 생성하면 다중 모델에 동시에 이동 가능성과 속임 능력이 향상되는가?

주요 결과

• 스케일링, 회전, 조명 변화와 같은 일반적인 실세계 변환 하에서 적대적 예제는 속임 능력을 상실한다. 특히 임계값을 초과하면 더욱 두드러진다.
• 변환 하에서도 적대적 성질이 유지되는 최소 편향 크기의 임계값이 존재하며, 이는 내성 영역을 나타낸다.
• 다양한 아키텍처 간(예: VGG16 및 ResNet50) 적대적 예제의 이동 가능성은 약하며, ImageNet에서의 성공률이 낮다.
• 크롭 및 국소 분류에 의존하는 인스턴스 세분화 및 객체 검출 모델에는 적대적 공격가 효과적으로 이동하지 못한다.
• 예를 들어 ResNet50에 대해 적대적 이미지를 생성한 후 이를 기반으로 VGG16에 대해 다시 생성하는 순차적 적대적 생성은 하나의 이미지로 두 네트워크를 동시에 속일 수 있다.
• 이전 연구의 설정과 특별히 일치하지 않는 한, 적대적 예제는 이미지 캡션 생성 모델로는 이동하지 못하며, 이는 작업 특화 민감도를 시사한다.