[논문 리뷰] Runtime Monitoring Neuron Activation Patterns

Chih‐Hong Cheng, Georg Nührenberg외 1명|arXiv (Cornell University)|2018. 09. 18.

Adversarial Robustness in Machine Learning참고 문헌 10인용 수 7

한 줄 요약

이 논문은 신경망의 훈련 분포 외부에서 내리는 결정을 탐지하기 위해 런타임 중 뉴런 활성화 패턴을 모니터링하는 방법을 제안한다. 훈련 데이터에서 ReLU 기반 활성화 패턴을 BDD를 사용해 저장하고, 실시간 입력을 해밍 거리 기반 추상화와 비교함으로써, 낮은 거짓 경고율로 신뢰할 수 없는 예측을 경고한다—GTSRB에서 오분류의 최대 54.54%를 탐지하면서도 운영 오버헤드를 최소화한다.

ABSTRACT

For using neural networks in safety critical domains, it is important to know if a decision made by a neural network is supported by prior similarities in training. We propose runtime neuron activation pattern monitoring - after the standard training process, one creates a monitor by feeding the training data to the network again in order to store the neuron activation patterns in abstract form. In operation, a classification decision over an input is further supplemented by examining if a pattern similar (measured by Hamming distance) to the generated pattern is contained in the monitor. If the monitor does not contain any pattern similar to the generated pattern, it raises a warning that the decision is not based on the training data. Our experiments show that, by adjusting the similarity-threshold for activation patterns, the monitors can report a significant portion of misclassfications to be not supported by training with a small false-positive rate, when evaluated on a test set.

연구 동기 및 목표

• 자율 주행과 같은 안전이 중요한 시스템에서 특히, 신경망이 훈련 분포 외부에서 결정을 내리는 경우를 탐지하는 데 도전하는 데 초점을 맞춘다.
• 확률적 보장을 기반으로 하지 않고도 '분포 외' 입력을 탐지하기 위한 형식적이고 타당한 방법을 제공한다.
• 출력에 가까운 레이어에서 고수준 특징 패턴을 모니터링하여 런타임 검증을 가능하게 한다.
• 모니터의 추상화 정도를 조절하여 과도한 거짓 경고나 탐지 누락을 방지함으로써 실용적 유용성을 확보한다.
• 센서 융합 및 결정 신뢰성의 신뢰 신호로 실세계 시스템에 모니터를 통합할 수 있도록 한다.

제안 방법

• 훈련 후, 네트워크는 모든 올바르게 분류된 훈련 데이터를 처리하여 고수준 레이어에서 ReLU 온오프 활성화 패턴을 기록한다.
• 활성화 패턴은 이진 결정도형(BDD)을 사용해 추상화하고 저장하여 효율적인 기호적 조작을 가능하게 한다.
• 기존 패턴에서 설정 가능한 해밍 거리(γ) 이내의 패턴을 포함하기 위해 존재 기호 양자화를 통해 모니터를 확장함으로써 일반화를 가능하게 한다.
• 기울기 기반 민감도 분석을 통해 가장 중요한 뉴런만을 식별하고 모니터링함으로써 BDD 변수 수를 줄이고 확장성을 향상시킨다.
• 검증 세트를 사용해 해밍 거리 임계값(γ)을 조정하여, 패턴 외부 탐지가 오분류와 강하게 상관되도록 한다.
• 추론 도중, 현재 활성화 패턴이 추상화된 패턴 공간 내에 있는지 확인하고, 그렇지 않으면 신뢰성 부족을 경고한다.

실험 결과

연구 질문

• RQ1 훈련 중에 관찰되지 않은 활성화 패턴에 기반해 신경망이 결정을 내리는 경우를 탐지할 수 있는가?
• RQ2 모니터의 추상화 정도를 어떻게 조절할 수 있을까? 과도한 거짓 경고나 탐지 누락을 방지하기 위해 적절한 균형을 유지해야 한다.
• RQ3 해밍 거리 기반 일반화를 갖춘 BDD 기반 모니터는 낮은 거짓 경고율로 오분류를 얼마나 잘 탐지할 수 있는가?
• RQ4 이 방법은 자율 주행 차량 인식과 같은 실세계의 안전이 중요한 시스템에 적용 가능한가?
• RQ5 다양한 데이터셋과 네트워크 아키텍처에서 모니터 성능은 어떻게 변하는가?

주요 결과

• γ=2일 때 MNIST 데이터셋에서, 모니터는 99.4%의 패턴 외부 입력을 탐지하고, 그 중 31.66%를 잠재적 오분류로 경고했으며, 거짓 경고율은 0.6%에 그쳤다.
• γ=3일 때 GTSRB 벤치마크에서, 모니터는 운영의 4.58%에서 문제를 신고했고, 그 중 54.54%는 정확히 오분류로 식별했다.
• GTSRB에서 모니터는 운영의 95.42% 동안 침묵을 유지했으며, 이는 높은 탐지 능력에도 불구하고 낮은 운영 간섭을 의미한다.
• 이 방법은 훈련 데이터 패턴의 타당한 초과 근사화를 달성하여, 모든 경고가 실제로 관측되지 않은 활성화 패턴을 의미함을 보장한다.
• 기울기 기반 뉴런 선택을 통해 BDD 복잡도가 감소하여, 수백 개의 뉴런을 가진 대규모 네트워크로의 확장성이 향상되었다.
• 이 방법은 YOLO와 같은 객체 검출 네트워크에 적용 가능하며, 더 정교한 추상 도메인(예: 차이 bound 행렬)을 사용해 확장 가능하다.