[논문 리뷰] Subset Scanning Over Neural Network Activations

Skyler Speakman, Srihari Sridharan외 3명|arXiv (Cornell University)|2018. 10. 19.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 5

한 줄 요약

이 논문은 재학습이나 아키텍처 변경 없이도 이상 입력(예: 적대적 예제)을 탐지하기 위해 신경망 활성화 값에 대해 서브셋 스캐닝을 도입한다. 비모수적 스캔 통계를 적용하여 로그선형 시간 내에 가장 이상적인 노드 활성화 부분집합을 식별함으로써, 이는 이질성 정도를 정량화하고, CIFAR-10 이미지의 변형을 탐지하며, 얕은 층의 이상 활성화가 깊은 층에서 진짜 특징 표현을 억제하는 간섭 패턴을 드러낸다.

ABSTRACT

This work views neural networks as data generating systems and applies anomalous pattern detection techniques on that data in order to detect when a network is processing an anomalous input. Detecting anomalies is a critical component for multiple machine learning problems including detecting adversarial noise. More broadly, this work is a step towards giving neural networks the ability to recognize an out-of-distribution sample. This is the first work to introduce "Subset Scanning" methods from the anomalous pattern detection domain to the task of detecting anomalous input of neural networks. Subset scanning treats the detection problem as a search for the most anomalous subset of node activations (i.e., highest scoring subset according to non-parametric scan statistics). Mathematical properties of these scoring functions allow the search to be completed in log-linear rather than exponential time while still guaranteeing the most anomalous subset of nodes in the network is identified for a given input. Quantitative results for detecting and characterizing adversarial noise are provided for CIFAR-10 images on a simple convolutional neural network. We observe an "interference" pattern where anomalous activations in shallow layers suppress the activation structure of the original image in deeper layers.

연구 동기 및 목표

• 재학습이나 아키텍처 수정 없이도 사전 학습된 신경망이 분포 외 또는 적대적 입력을 탐지할 수 있도록 하는 것.
• 배경 분포로 정의된 정상 입력의 집합과 비교해 활성화 공간에서의 편차를 측정함으로써 입력 데이터의 이질성 정도를 정량화하는 것.
• 노드 부분집합에 대한 정확한 탐색을 통해 확장 가능한 방식으로 신경망 활성화에서 이상 패턴을 탐지하고 특성화하는 것.
• 노드 수준의 이상 지도를 통해 적대적 노이즈가 정상적인 특징 표현을 어떻게 방해하는지에 대한 설명 가능한 통찰을 제공하는 것.
• 제약된 탐색 공간과 적대적 탐지 외의 응용 분야로의 서브셋 스캐닝 확장 기반을 마련하는 것.

제안 방법

• 시험 입력의 활성화 패턴과 정상 입력의 배경 집합에서의 활성화 패턴 간의 이질성 정도를 측정하기 위해 비모수적 스캔 통계를 적용한다.
• 선형 시간 서브셋 스캐닝 성질을 활용해 J개 노드로 구성된 네트워크에서 가능한 2^J개의 부분집합 전부에 대해 가장 이상적인 부분집합을 효율적으로 식별한다.
• 정규성 가정 하에 기대 배경 빈도와 관측된 활성화 빈도 간의 우도 비율을 기반으로 이질성 점수를 정의한다.
• 배경 입력에서 유도된 임계값과 최고의 부분집합 점수를 비교함으로써 비지도 이상 탐지가 가능한 방식으로 탐지를 수행한다.
• 특정 노드와 층이 가장 높은 점수를 받는 부분집합에 기여하는 것을 식별함으로써 이상을 특성화하고, 설명 가능성을 확보한다.
• 도메인 지식을 반영하기 위해 점수 함수에 부드러운 제약 조건을 도입하여 특정 층을 우선시하는 등의 조정을 수행한다.

실험 결과

연구 질문

• RQ1 서브셋 스캐닝을 신경망 활성화에 적용해 재학습 없이도 완전히 비지도 방식으로 적대적 입력을 탐지할 수 있는가?
• RQ2 고차원 활성화 공간에서 서브셋 스캐닝이 가장 이상적인 노드 활성화 부분집합을 얼마나 효과적으로 식별할 수 있는가?
• RQ3 적대적 노이즈가 존재할 경우 네트워크에서 어떤 구조적 패턴이 나타나는가? 특히 층별 활성화 방해의 관점에서 설명하라.
• RQ4 이 방법을 통해 적대적 노이즈가 정상적인 특징 표현을 방해하는 메커니즘을 설명 가능한 방식으로 드러낼 수 있는가?
• RQ5 제약 없는 부분집합 탐색을 넘어서 탐지 성능을 향상시키기 위해 서브셋 스캐닝을 어떻게 확장할 수 있는가?

주요 결과

• 이 방법은 96,800개의 노드를 가진 사전 학습된 합성곱 신경망을 사용해 CIFAR-10 이미지의 적대적 변형을 성공적으로 탐지한다.
• 서브셋 스캐닝은 로그선형 시간 내에 모든 2^J개 부분집합에 대한 정확한 탐색을 수행할 수 있으며, 근사치 없이도 가장 이상적인 부분집합을 식별한다.
• 얕은 층의 이상 활성화가 깊은 층에서 원본 이미지의 정상적인 활성화 구조를 억제하는 간섭 패턴이 관찰된다.
• 가장 높은 점수를 받는 부분집합은 항상 초기 합성곱 및 풀링 층에 위치해 있어, 이 층들이 적대적 노이즈의 주요 공격 대상임을 시사한다.
• 서브셋 점수는 적대적 변형의 존재와 상관관계를 가지는 단일 해석 가능한 실수값의 이질성 점수를 제공한다.
• 이 방법은 이상 노드를 국소화함으로써 설명 가능한 인공지능을 가능하게 하여, 적대적 노이즈가 특징 학습 과정을 어떻게 그리고 어디서 방해하는지에 대한 통찰을 제공한다.