[논문 리뷰] Finding Invariants in Deep Neural Networks.

Divya Gopinath, Ankur Taly외 2명|arXiv (Cornell University)|2019. 04. 29.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 5

한 줄 요약

이 논문은 피드포워드 딥 네ural 네트워크에서 뉴런의 활성화 패턴을 분석하여 불변 성질을 자동으로 추론하는 기법을 제안한다. 입력의 볼록 불변성과 레이어 불변성을 추출하여 모델의 해석 가능성, 강건성, 적대적 예측 탐지 및 네트워크 정제를 향상시키며, MNIST 및 ACASXU 네트워크에서 효과를 입증한다.

ABSTRACT

We present techniques for automatically inferring invariant properties of feed-forward neural networks. Our insight is that feed forward networks should be able to learn a decision logic that is captured in the activation patterns of its neurons. We propose to extract such decision patterns that can be considered as invariants of the network with respect to a certain output behavior. We present techniques to extract input invariants as convex predicates on the input space, and layer invariants that represent features captured in the hidden layers. We apply the techniques on the networks for the MNIST and ACASXU applications. Our experiments highlight the use of invariants in a variety of applications, such as explainability, providing robustness guarantees, detecting adversaries, simplifying proofs and network distillation.

연구 동기 및 목표

• 피드포워드 신경망에서 일관된 결론 논리를 반영하는 불변 성질을 자동으로 추론하는 것.
• 특정 출력을 유도하는 입력 영역를 특징짓는 볼록 조건자로 입력 불변성을 식별하는 것.
• 은닉층에서 학습된 특징을 나타내는 레이어 불변성을 추출하는 것.
• 이러한 불변성을 활용하여 모델의 해석 가능성, 강건성 및 검증을 향상시키는 것.
• 실제 벤치마크인 MNIST 및 ACASXU에서의 실용적 검증을 위해 접근법을 평가하는 것.

제안 방법

• 입력에 걸쳐 뉴런 활성화 패턴을 분석하여 네트워크 내에서 반복되는 결론 논리를 식별하는 것.
• 특정 출력을 유도하는 입력 영역를 특징짓는 볼록 조건자를 제안하여 입력 불변성을 추출하는 것.
• 은닉층의 특징 표현을 분석하여 불변 구조 패턴을 포착하는 레이어 불변성을 유도하는 것.
• 다면체 추상화 및 제약 해결을 사용하여 입력 공간과 은닉 공간에서의 불변성을 계산하고 검증하는 것.
• 불변성을 활용하여 증명을 단순화하고, 적대적 예외를 탐지하며, 네트워크 정제를 안내하는 것.
• MNIST 및 ACASXU에서 훈련된 네트워크에 이 프레임워크를 적용하여 실질적인 불변성 추출 및 검증을 수행하는 것.

실험 결과

연구 질문

• RQ1 피드포워드 신경망의 활성화 패턴에서 불변 성질을 어떻게 자동으로 추론할 수 있는가?
• RQ2 입력 수준 또는 레이어 수준의 불변성 중 어떤 것이 효과적으로 추출되어 네트워크 행동을 설명하는 데 사용될 수 있는가?
• RQ3 이러한 불변성이 강건성 보증 및 적대적 예외 탐지에 어느 정도 향상시킬 수 있는가?
• RQ4 불변성이 딥 네트워크의 형식적 검증 및 증명 구축을 단순화하는 데 기여할 수 있는가?
• RQ5 추출된 불변성은 더 큰 네트워크에서 지식을 정제하는 데 얼마나 효과적인가?

주요 결과

• 이 방법은 MNIST 및 ACASXU 네트워크에서 안정된 결정 경계를 포착하는 볼록 입력 불변성을 성공적으로 추출하였다.
• 레이어 불변성은 은닉층에서 일관된 특징 표현을 드러내어 모델의 해석 가능성에 기여한다.
• 불변성을 통해 학습된 불변 패턴에서의 이탈을 식별함으로써 적대적 예외 탐지 능력이 향상된다.
• 불변성을 통해 네트워크 행동 검증의 복잡성을 감소시켜 형식적 증명을 단순화한다.
• 더 작은 모델에서 핵심 불변 행동을 식별하고 유지함으로써 네트워크 정제를 지원한다.
• 실험적 평가를 통해 불변성이 강건성 및 해석 가능성과 같은 다양한 응용 분야에서 실용성을 입증하였다.