[논문 리뷰] Deep Neural Networks as 0-1 Mixed Integer Linear Programs: A Feasibility Study

Matteo Fischetti, Jason Jo|arXiv (Cornell University)|2017. 12. 17.

Adversarial Robustness in Machine Learning참고 문헌 7인용 수 58

한 줄 요약

논문은 ReLU와 풀링을 가진 DNN을 0-1 MILP로 형식화하고, 바운드 강화(bound-tightening) 기법을 제안하며, 특성 시각화 및 적대적 예제 생성에 대한 사용 가능성을 평가하고 MNIST 규모의 네트워크에 대한 계산 결과를 제시한다.

ABSTRACT

Deep Neural Networks (DNNs) are very popular these days, and are the subject of a very intense investigation. A DNN is made by layers of internal units (or neurons), each of which computes an affine combination of the output of the units in the previous layer, applies a nonlinear operator, and outputs the corresponding value (also known as activation). A commonly-used nonlinear operator is the so-called rectified linear unit (ReLU), whose output is just the maximum between its input value and zero. In this (and other similar cases like max pooling, where the max operation involves more than one input value), one can model the DNN as a 0-1 Mixed Integer Linear Program (0-1 MILP) where the continuous variables correspond to the output values of each unit, and a binary variable is associated with each ReLU to model its yes/no nature. In this paper we discuss the peculiarity of this kind of 0-1 MILP models, and describe an effective bound-tightening technique intended to ease its solution. We also present possible applications of the 0-1 MILP model arising in feature visualization and in the construction of adversarial examples. Preliminary computational results are reported, aimed at investigating (on small DNNs) the computational performance of a state-of-the-art MILP solver when applied to a known test case, namely, hand-written digit recognition.

연구 동기 및 목표

• 정확한 최적화를 위한 ReLU 및 풀링 활성화를 갖는 심층 신경망을 0-1 MILP로 모델링하는 것을 동기화한다.
• MILP 해결 시간을 줄이기 위한 바운드-타이팅(bound-tightening) 기법을 개발하고 분석한다.
• 특징 시각화와 적대적 예제 생성에서 MILP 모델의 실용적 응용을 탐구한다.
• 소형 DNN에 대한 0-1 MILP 해결의 계산적 가능성을 평가하고 대형 네트워크의 한계에 대해 논의한다.

제안 방법

• 각 ReLU 유닛을 이진 활성화 변수와 x=ReLU(w^T y + b)를 보장하는 지시 제약을 사용한 선형 제약으로 형식화한다.
• 각 층에 대해 ReLU 입력의 양수/음수 부분을 분리하기 위해 x^k, s^k 변수를 도입한다.
• 평균 풀링은 선형화로, 최대 풀링은 이진 변수로 포함한다.
• 층별로 x^k와 s^k를 최적화하여 지시 제약에서 사용되는 상한값을 강화하는 바운드-타이팅 전처리(프리프로세싱)를 제공한다.
• 레이어 출력과 활성화 지시자를 결합한 선형 목적함수를 사용하여 풀이 가능한 MILP 형식을 얻는다.
• 특징 시각화 및 적대적 예제 생성에의 적용을 시연하기 위해 문제 특이적 선형 제약(예: 대상 활성화 관계, 입력 수정 한계)을 추가한다.

실험 결과

연구 질문

• RQ1 0-1 MILP 형태가 ReLU 및 풀링 활성화를 가진 DNN을 정확하게 모델링할 수 있는가?
• RQ2 바운드-타이팅 메커니즘이 MILP 해결 가능성을 크게 향상시키는가?
• RQ3 0-1 MILP 모델을 내부 유닛의 특징 시각화에 어떻게 활용할 수 있는가?
• RQ4 MILP 형식이 입력의 제어 가능한 수정으로 효과적인 적대적 예제를 효율적으로 생성할 수 있는가?

주요 결과

모델	%해결	%갭	노드	소요 시간(초)
DNN1 (basic model)	100	0.0	1,903	1.0
DNN1 (improved model)	100	0.0	552	0.6
DNN2 (basic model)	97	0.2	77,878	48.2
DNN2 (improved model)	100	0.0	11,851	7.5
DNN3 (basic model)	64	11.6	228,632	158.5
DNN3 (improved model)	100	0.0	20,309	12.1
DNN4 (basic model)	24	38.1	282,694	263.0
DNN4 (improved model)	98	0.7	68,563	43.9
DNN5 (basic model)	7	71.8	193,725	290.9
DNN5 (improved model)	67	11.4	76,714	171.1

• ReLU 및 풀링을 갖는 DNN에 대한 0-1 MILP 모델은 실행 가능하며 정확한 최적화 작업에 사용할 수 있다.
• 바운드-타이팅 전처리는 기본 모델과 비교하여 MILP 해결 성능을 현저히 향상시킨다.
• MNIST의 소형 DNN에 대해 많은 인스턴스가 상한값을 더 엄격히 하면 수초 내에 최적해를 입증하여 해결될 수 있다.
• MILP를 통한 특징 시각화는 단위 활성화를 최대화하는 증명 가능한 최적 입력 패턴을 생성할 수 있으며, 종종 시각적으로 식별 가능한 패턴이 없다.
• MILP 프레임워크는 제약 조건을 제어 가능하게 하여 명시적 목적/제약 하에서 분류를 바꾸기 위해 필요한 픽셀 수정이 몇 개에 불과한지 보이는 적대적 예제를 구성할 수 있다.
• 더 큰 네트워크에서는 최적해 도출이 계산적으로 어려워지므로 실용 규모를 위해서는 더 휴리스틱한 접근이 필요할 수 있다.