[논문 리뷰] Intriguing properties of neural networks

Christian Szegedy, Wojciech Zaremba외 5명|arXiv (Cornell University)|2013. 12. 21.

Neural Networks and Applications참고 문헌 6인용 수 5,706

한 줄 요약

이 논문은 (1) 심층 네트워크의 의미가 특정 유닛이 아니라 활성화 공간 전반에 분산되어 있으며, (2) 신경망이 사람 눈에 띄지 않는 입력 섭동으로 잘못 분류를 유발하는 적대적 예제에 취약하다는 점을 보인다. 섭동은 종종 모델 간 및 학습 데이터 세트 간에 전달된다.

ABSTRACT

Deep neural networks are highly expressive models that have recently achieved state of the art performance on speech and visual recognition tasks. While their expressiveness is the reason they succeed, it also causes them to learn uninterpretable solutions that could have counter-intuitive properties. In this paper we report two such properties. First, we find that there is no distinction between individual high level units and random linear combinations of high level units, according to various methods of unit analysis. It suggests that it is the space, rather than the individual units, that contains of the semantic information in the high layers of neural networks. Second, we find that deep neural networks learn input-output mappings that are fairly discontinuous to a significant extend. We can cause the network to misclassify an image by applying a certain imperceptible perturbation, which is found by maximizing the network's prediction error. In addition, the specific nature of these perturbations is not a random artifact of learning: the same perturbation can cause a different network, that was trained on a different subset of the dataset, to misclassify the same input.

연구 동기 및 목표

• 개별 고수준 유닛이 딥 네트워크에서 고유한 의미 역할을 가진다는 관념에 의문을 제기한다.
• 랜덤 활성화 방향이 학습된 방향과 의미적으로 유사할 수 있음을 입증한다.
• 작고 신중하게 구성된 입력 섭동이 네트워크 예측을 안정적으로 뒤집을 수 있음을 보여준다(적대적 예제).
• 적대적 예제의 모델 간 및 학습 데이터 간 일반화를 조사한다.
• 적대적 섭동을 로컬 공간 기하와 학습 시의 하드 네거티브와의 연결 프레임워크를 제안한다.

제안 방법

• 자연 기저 좌표를 따라 활성화와 φ(x)의 임의 방향을 비교하여 의미를 분석한다.
• 대상 오분류를 만족시키는 제약 조건 박스 하에서의 최적화 문제를 풀어 적대적 섭동을 수 formally 정의하고 계산한다.
• 박스 제약 L-BFGS와 선 탐색으로 최소 섭동을 찾아 D(x,l)을 근사화한다.
• MNIST, AlexNet, QuocNet 아키텍처와 다양한 학습 세트에서 적대적 예제를 평가한다.
• 계층의 리피시시(bound) 상수를 스펙트럼 분석하여 입력-출력 안정성을 한정한다.
• 적대적 예제의 모델 간 및 학습 데이터 간 전이 가능성을 평가한다.

실험 결과

연구 질문

• RQ1 신경망의 의미 정보가 개별 유닛에 존재하는가 아니면 활성화 공간 전체에 존재하는가?
• RQ2 활성화 공간의 임의 방향이 개별 유닛에서 얻은 것과 비교해 의미론적으로 유의미한 시각화를 제공할 수 있는가?
• RQ3 미묘한 입력 섭동으로 만들어진 적대적 예제가 깊은 네트워크에 취약하고, 이 섭동이 모델 간 및 학습 데이터 간에 전이 가능한가?
• RQ4 활성화 매핑의 국소 기하가 네트워크의 안정성과 일반화에 어떻게 연결되는가?
• RQ5 적대적 예제를 사용해 학습 시 하드 네거티브 마이닝 또는 적대적 학습을 통해 일반화를 개선할 수 있는가?

주요 결과

모델 이름	설명	훈련 오류	테스트 오류	평균 최소 왜곡도
FC10(10^{-4})	Softmax with λ=10^{-4}	6.7%	7.4%	0.062
FC10(10^{-2})	Softmax with λ=10^{-2}	10%	9.4%	0.1
FC10(1)	Softmax with λ=1	21.2%	20%	0.14
FC100-100-10	Sigmoid network λ=10^{-5},10^{-5},10^{-6}	0%	1.64%	0.058
FC200-200-10	Sigmoid network λ=10^{-5},10^{-5},10^{-6}	0%	1.54%	0.065
AE400-10	Autoencoder with Softmax λ=10^{-6}	0.57%	1.9%	0.086

• 활성화 공간의 임의 방향이 개별 유닛 활성화를 최대화하는 방향과 유사한 의미론적 관련 이미지를 생성할 수 있다.
• 의미 정보는 고수준 계층에서 개별 유닛에 국한되지 않고 활성화 공간 전반에 분산되어 있다.
• 적대적 예제는 여러 아키텍처(MNIST, AlexNet, QuocNet)에서 존재하며 시각적으로 거의 구분되지 않으면서 잘못 분류를 유발한다.
• 적대적 예제는 서로 다른 하이퍼파라미터를 가진 모델 간, 심지어 서로 다른 데이터 부분집합으로 학습된 모델 간에도 전이된다.
• 일부 MNIST 모델에서 적대적 예제를 학습에 포함시키면 일반화를 개선하는 데 도움을 준다.
• 스펙트럼 분석은 계층별 리피시시 바운드를 통해 불안정성을 한정할 수 있음을 시사하며, 이는 적대적 민감성을 감소시키는 정규화의 가능성을 시사한다.