[논문 리뷰] Outside the Box: Abstraction-Based Monitoring of Neural Networks

Thomas A. Henzinger, Anna Lukina외 1명|KOPS (University of Konstanz)|2019. 11. 20.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 신경망 분류기에서 히든 레이어 활성화를 구간 기반 '상자'(box)로 overapproximation하여 훈련 중에 관측된 뉴런 값의 범위를 분석함으로써 새로운 입력을 탐지하는 추상화 기반 런타임 모니터링 프레임워크를 제안한다. 이 방법은 가짜 경고와 진짜 신규 입력 간의 조정 가능한 트레이드오프를 통해 이상치 입력을 효율적으로 식별하며, 이미지 분류 벤치마크에서 볼록체와 옥타곤과 같은 다른 추상화 방식보다 검출 정확도와 계산 효율성 면에서 뛰어난 성능을 보인다.

ABSTRACT

Neural networks have demonstrated unmatched performance in a range of classification tasks. Despite numerous efforts of the research community, novelty detection remains one of the significant limitations of neural networks. The ability to identify previously unseen inputs as novel is crucial for our understanding of the decisions made by neural networks. At runtime, inputs not falling into any of the categories learned during training cannot be classified correctly by the neural network. Existing approaches treat the neural network as a black box and try to detect novel inputs based on the confidence of the output predictions. However, neural networks are not trained to reduce their confidence for novel inputs, which limits the effectiveness of these approaches. We propose a framework to monitor a neural network by observing the hidden layers. We employ a common abstraction from program analysis - boxes - to identify novel behaviors in the monitored layers, i.e., inputs that cause behaviors outside the box. For each neuron, the boxes range over the values seen in training. The framework is efficient and flexible to achieve a desired trade-off between raising false warnings and detecting novel inputs. We illustrate the performance and the robustness to variability in the unknown classes on popular image-classification benchmarks.

연구 동기 및 목표

• 신경망 분류기에서 알려지지 않은 클래스에서 온 입력을 인식하고 거부해야 하는 중요한 과제인 신규성 탐지 문제를 해결하기 위해.
• 신규 입력에 대해 예측 신뢰도를 낮추지 못하는 블랙박스 기반 신뢰도 방법의 한계를 극복하기 위해.
• 기존 신경망 파ip라인에 원활하게 통합될 수 있는 경량이며 효율적이고 유연한 런타임 모니터링 시스템을 개발하기 위해.
• 자율주행 차량과 같은 안전이 중요한 애플리케이션에서 이른 시점에 비정상적이거나 이상치 입력을 탐지함으로써 신뢰할 수 있는 추론을 가능하게 하기 위해.
• 다양한 신경망 아키텍처와 데이터셋에 일반적으로 적용 가능한 솔루션을 제공하기 위해.

제안 방법

• 특히 출력에 가까운 레이어들에서, 클래스별 특징 패턴이 가장 두드러지는 특정 히든 레이어를 모니터링한다.
• 각 뉴런에 대해 훈련 중에 관측된 뉴런 활성화의 범위를 overapproximation하는 구간의 유니온으로 상자 추상화를 구성한다.
• 추론 시점에, 주어진 입력의 활성화 벡터가 사전에 계산된 상자 추상화 내에 포함되는지 확인한다; 포함되지 않으면 해당 입력을 잠재적으로 새로운 것으로 경고한다.
• 상자 크기를 조정함으로써 감도를 조절할 수 있으며(비율 γ를 통해), 가짜 경고와 진짜 신규 입력 탐지 간의 트레이드오프를 가능하게 한다.
• 계산적으로 효율적이며, 각 레이어당 선형 시간 체크만으로도 충분하여 실시간 배포에 적합하다.
• 볼록체와 옥타곤과 같은 다른 추상화 방식도 비교를 위해 평가되었으며, 상자 추상화가 정확도와 속도 면에서 모두 뛰어난 성능을 보였다.

실험 결과

연구 질문

• RQ1 히든 레이어 활성화의 상자 추상화는 신경망 분류기에서 이상치 입력을 효과적으로 탐지할 수 있는가?
• RQ2 검출 정확도와 계산 비용 측면에서 상자 기반 모니터링은 볼록체와 옥타곤과 같은 다른 추상화 유형과 비교해 어떻게 성능을 내는가?
• RQ3 이 프레임워크는 가짜 경고 비율과 신규 입력 탐지 간의 균형을 어느 정도 조정할 수 있는가?
• RQ4 최종 레이어만 모니터링하는 것보다 여러 레이어를 모니터링하면 신규성 탐지 성능이 향상되는가?
• RQ5 이 프레임워크는 알려진 클래스와 알려지지 않은 클래스의 수가 다양한 다양한 이미지 분류 벤치마크에 효과적으로 적용될 수 있는가?

주요 결과

• 많은 수의 알려진 클래스를 가진 데이터셋에서는 최종 레이어만 모니터링해도 강력한 신규성 탐지 성능을 달성하지만, 알려진 클래스 수가 적은 데이터셋에서는 여러 레이어를 조합함으로써 탐지 성능이 크게 향상된다.
• 상자 추상화는 볼록체와 옥타곤 추상화보다 뛰어난 탐지 성능을 보이며, 더 많은 진짜 신규 입력을 탐지하면서도 덜 많은 가짜 경고를 발생시킨다.
• 상자 기반 모니터링의 계산 비용은 MNIST 벤치마크에서 2초에 불과하며, 옥타곤 기반 모니터링의 121초와 비교해 매우 효율적임을 보여준다.
• 상자를 일관되게 비율 γ로 확대함으로써, 원하는 가짜 경고 비율을 달성할 수 있으며, MNIST 벤치마크에서 γ = 0.09로 설정하면 가짜 경고를 완전히 제거할 수 있다.
• 알려진 클래스 수가 적을 때도 이 방법은 높은 탐지 능력을 유지하며, 이러한 상황에서 단일 레이어 모니터링보다 뛰어난 성능을 보인다.
• 균형 잡힌 알려진 클래스와 알려지지 않은 클래스 분포를 가진 여러 벤치마크를 통해, 프레임워크의 성능가 변동성에 대해 강건함을 입증하였다.