[논문 리뷰] Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images

Anh‐Tu Nguyen, Jason Yosinski외 1명|arXiv (Cornell University)|2014. 12. 05.

Advanced Neural Network Applications참고 문헌 5인용 수 78

한 줄 요약

이 논문은 진화 알고리즘 또는 기울기 상승을 사용하여 '혼동 이미지'를 생성함으로써, 인간이 완전히 인식할 수 없는 이미지(예: 흰 잡음 또는 무작위 패턴)에 대해 딥 네ural 네트워크(DNNs)가 거의 100%의 확신을 가질 수 있음을 보여준다. 주요 발견은 DNNs가 자연 데이터 분포에서 멀리 떨어진 곳에서도 잘못된 양성 결과를 낼 수 있도록 하는 고차원의 결정 경계에 의존한다는 점이며, 이는 일반화 능력에 심각한 취약성을 드러내며, 안전이 중요한 시스템에 실제 적용할 경우 우려를 제기한다.

ABSTRACT

Deep neural networks (DNNs) have recently been achieving state-of-the-art performance on a variety of pattern-recognition tasks, most notably visual classification problems. Given that DNNs are now able to classify objects in images with near-human-level performance, questions naturally arise as to what differences remain between computer and human vision. A recent study revealed that changing an image (e.g. of a lion) in a way imperceptible to humans can cause a DNN to label the image as something else entirely (e.g. mislabeling a lion a library). Here we show a related result: it is easy to produce images that are completely unrecognizable to humans, but that state-of-the-art DNNs believe to be recognizable objects with 99.99% confidence (e.g. labeling with certainty that white noise static is a lion). Specifically, we take convolutional neural networks trained to perform well on either the ImageNet or MNIST datasets and then find images with evolutionary algorithms or gradient ascent that DNNs label with high confidence as belonging to each dataset class. It is possible to produce images totally unrecognizable to human eyes that DNNs believe with near certainty are familiar objects, which we call "fooling images" (more generally, fooling examples). Our results shed light on interesting differences between human vision and current DNNs, and raise questions about the generality of DNN computer vision.

연구 동기 및 목표

• 딥 네럴 네트워크가 인간이 완전히 인식할 수 없는 이미지에 대해 높은 확신을 가질 수 있는지 조사하기.
• 특히 물체 인식에서 인간의 시각 인지와 딥 러닝 기반 컴퓨터 비전 간의 차이를 탐구하기.
• 약간의 변형이 아닌 완전히 비자연스러운 이미지에 대해 DNN의 강인성을 평가하기.
• 혼동 이미지를 학습 데이터에 포함시켜 DNN을 재학습시키는 것이 향후 악성 예측에 대한 저항력을 향상시킬 수 있는지 평가하기.
• 이러한 발견이 자율 주행 차량이나 얼굴 인식 시스템과 같은 실제 안전 기반 애플리케이션에 DNN을 도입하는 데 미치는 영향을 이해하기.

제안 방법

• 특정 클래스에 대해 DNN의 확신 점수를 최대화하는 이미지를 생성하기 위해, 특히 MAP-Elites를 활용한 진화 알고리즘(EAs)을 사용하였다. 이는 이미지가 시각적으로 인식 불가능하더라도 가능하다.
• DNN 내 특정 클래스 뉴런의 활성화를 최대화하기 위해 픽셀을 최적화하기 위해 기울기 상승을 적용하였다. 이로 인해 자연스럽지 않은 이미지에 대해 높은 확신 예측이 생성되었다.
• 두 가지 이미지 인코딩 방식을 사용하였다: 직접 픽셀 인코딩과 CPPN(구성 패턴-매핑 신경진화) 인코딩. 이는 생성된 이미지에 다양하고 복잡한 패턴을 가능하게 하였다.
• 연구는 Caffe 프레임워크를 통해 공개된 두 가지 사전 훈련된 DNN을 사용하였다: ImageNet용 AlexNet과 MNIST용 LeNet.
• 생성된 '혼동 이미지'는 두 모델에 모두 테스트되어 아키텍처와 데이터셋 간의 일반화 능력을 평가하였다.
• 재학습 실험은 혼동 이미지를 부정 예시로 레이블링하고 DNN을 재학습시켜 향후 공격에 대한 저항력을 평가하기 위해 수행되었다.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크는 인간이 완전히 인식할 수 없는 이미지에 대해 높은 확신을 가질 수 있는가?
• RQ2 진화 알고리즘 또는 기울기 상승을 통해 생성된 혼동 이미지는 다양한 DNN 아키텍처와 데이터셋 간에 일관된 패턴을 보이는가?
• RQ3 혼동 이미지를 학습 데이터에 포함시켜 DNN을 재학습시키는 것이 향후 공격에 대한 저항력을 향상시킬 수 있는가?
• RQ4 분류 모델인 DNN의 결정 경계는 자연 데이터 분포에서 멀리 떨어진 이미지에 대해 어떻게 고신뢰도 예측을 가능하게 하는가?
• RQ5 이러한 발견은 자율 주행 차량이나 얼굴 인식 시스템과 같은 실제 응용 분야에서 DNN의 신뢰성과 보안에 어떤 영향을 미치는가?

주요 결과

• AlexNet과 LeNet을 포함한 DNN들은 인간이 완전히 인식할 수 없는 이미지(예: 흰 잡음 또는 무작위 패턴)에 대해 최대 99.99%의 확신 점수를 부여하였다.
• 진화 알고리즘과 기울기 상승은 상태 기반 DNN을 혼동시키는 데 성공했으며, 인간이 인식할 수 없는 패턴을 사자, 오토바이, 키보드와 같은 익숙한 물체로 잘못 분류하도록 하였다.
• 혼동 이미지를 부정 예시로 레이블링하고 재학습한 DNN는 여전히 새로운 혼동 이미지를 생성할 수 있었으며, 이는 저항력이 제한적임을 시사한다.
• 이 현상은 DNN의 결정 경계가 고차원 공간에서 각 클래스에 대해 큰 영역을 할당하기 때문에 발생한다. 이는 자연 데이터에서 멀리 떨어진 영역에도 잘못된 양성 결과를 낼 수 있도록 한다.
• 일부 생성된 혼동 이미지는 처음에는 인식할 수 없지만, 목표 클래스를 학습한 후에는 인식 가능해지는 경우가 있었으며, 이는 DNN이 가짜이지만 현실적으로 보이는 이미지를 생성할 수 있도록 하는 분류 특징을 학습하고 있음을 시사한다.
• 저자들은 몇몇 혼동 이미지를 예술 경연 대회에 제출했으며, 그들은 수락되어 전시되었다. 이는 이러한 이미지가 특정 조건에서는 예술적이거나 의미 있는 것으로 간주될 수 있음을 보여준다.