[논문 리뷰] On Tractable Representations of Binary Neural Networks

Weijia Shi, Andy Shih외 2명|arXiv (Cornell University)|2020. 04. 05.

Adversarial Robustness in Machine Learning참고 문헌 42인용 수 7

한 줄 요약

이 논문은 이진 신경망을 다룰 수 있는 트랙태블(Boolean) 회로—특히 순서화된 이진결정다이어그램(OBDD) 및 문장적 결정다이어그램(SDD)—로 표현하기 위한 지식 컴파일 기법을 제안한다. 이를 통해 모델 행동의 공식적 검증과 설명이 가능해진다. 이는 정수 가중치와 스텝 활성화 함수를 가진 뉴런을 효율적으로 컴파일할 수 있는 의사다항식 시간 알고리즘을 도입하여, 높은 정확도와 낮은 메모리 오버헤드로 손글씨 숫자 분류 작업에서의 타당성과 강건성 분석을 입증한다.

ABSTRACT

We consider the compilation of a binary neural network's decision function into tractable representations such as Ordered Binary Decision Diagrams (OBDDs) and Sentential Decision Diagrams (SDDs). Obtaining this function as an OBDD/SDD facilitates the explanation and formal verification of a neural network's behavior. First, we consider the task of verifying the robustness of a neural network, and show how we can compute the expected robustness of a neural network, given an OBDD/SDD representation of it. Next, we consider a more efficient approach for compiling neural networks, based on a pseudo-polynomial time algorithm for compiling a neuron. We then provide a case study in a handwritten digits dataset, highlighting how two neural networks trained from the same dataset can have very high accuracies, yet have very different levels of robustness. Finally, in experiments, we show that it is feasible to obtain compact representations of neural networks as SDDs.

연구 동기 및 목표

• 이진 신경망의 의사결정 함수를 트랙태블(Boolean) 회로로 컴파일하여 이론적 검증과 설명 가능성을 가능하게 하는 것.
• 기호적 지식 컴파일 기반 방법을 통해 이진 신경망의 강건성 분석 과제를 해결하는 것.
• 정수 가중치와 스텝 활성화 함수를 가진 뉴런을 위한 효율적이고 확장 가능한 컴파일 알고리즘을 개발하는 것.
• 실세계 분류 작업에서 모델 정확도, 강건성, 회로 크기 간의 상호 교환 관계를 경험적으로 평가하는 것.
• SDD를 사용해 복잡한 모델조차도 압축되고 인간이 이해할 수 있는 표현 방식으로 이진 신경망을 구성하는 것이 가능함을 입증하는 것.

제안 방법

• 이진 입력과 스텝 활성화 함수를 사용해 이진 신경망의 각 뉴런을 부울 함수로 컴파일하여 순수 부울 계산을 유도한다.
• 개별 뉴런을 OBDD 또는 SDD로 컴파일하기 위해 의사다항식 시간 알고리즘을 적용하며, 시간 및 공간 복잡도는 n(입력 크기)과 W(최대 가중치 크기)에 따라 O(nW)로 제한된다.
• 지식 컴파일 기법을 활용해 신경망의 부울 함수를 효율적인 질의를 지원하는 트랙태블 회로 형식(SDD)으로 변환한다.
• 입력 위치와 임계값을 인덱스로 하는 부분분류기의 행렬을 기반으로 동적 프로그래밍을 수행하여 OBDD 표현을 효율적으로 구성한다.
• 강건성 분석을 위한 새로운 질의를 도입하며, 이는 인스턴스 기반 및 모델 기반 강건성 분석을 포함하며, 모델 수세기와 회로의 트랙태블 성질을 활용한다.
• 손글씨 숫자 데이터셋을 대상으로 접근법을 검증하며, 동일한 데이터셋에서 훈련된 두 개의 고정확도 모델을 회로 기반 분석을 통해 비교한다.

실험 결과

연구 질문

• RQ1 0/1 입력과 스텝 활성화 함수를 가진 이진 신경망이 효율적인 추론과 검증을 지원하는 트랙태블 부울 회로로 컴파일될 수 있는가?
• RQ2 제안된 뉴런 컴파일을 위한 의사다항식 시간 알고리즘이 입력 크기와 가중치 정밀도에 따라 어떻게 스케일링되는가?
• RQ3 트랙태블 회로 표현 방식이 모델 정확도를 유지하면서 강건성 분석을 가능하게 할 수 있는 정도는 어느 정도인가?
• RQ4 동일한 데이터셋에서 훈련된 두 개의 고정확도 이진 신경망이 컴파일된 회로를 통해 분석했을 때 강건성 측면에서 얼마나 다를 수 있는가?
• RQ5 SDD를 사용해 이진 신경망에 대해 압축되고 인간이 이해할 수 있는 표현을 구성하는 것은 가능한가?

주요 결과

• 제안된 의사다항식 시간 알고리즘은 O(nW) 크기로 제한된 OBDD로 뉴런을 성공적으로 컴파일하여, 가중치 정밀도가 고정되어 있을 경우 수백 개의 입력을 가진 뉴런에 대해서도 트랙태블 표현이 가능함을 입증했다.
• 실험 결과, 이진 신경망의 SDD 표현은 압축되고 실현 가능하며, 4자리 정밀도에서 성공적으로 컴파일되었고, 정확도는 97.8%를 유지했다.
• 동일한 데이터셋에서 훈련된 두 개의 고정확도 이진 신경망은 유사한 성능를 보였지만, 회로 기반 분석을 통해 강건성 수준에 상당한 차이를 보였다.
• 4자리 정밀도를 초과하는 가중치 정밀도는 OBDD 구축에 실패했으며, 이는 표현 크기의 지수적 증가로 인한 메모리 오버플로우 때문이었다.
• 이 방법은 모델 수세기 기반의 강건성 질의를 가능하게 하며, 만족 가능성과 같은 NP-완전 질의보다 더 표현력이 뛰어나고, 컴파일된 회로 내에서 트랙태블하게 처리된다.
• 사례 연구는 지식 컴파일을 SDD로 수행할 경우 실질적으로 이진 신경망의 공식적 검증과 설명 가능성을 확보할 수 있는 유망한 길을 제공함을 확인했다.