[논문 리뷰] An Integer Programming Approach to Deep Neural Networks with Binary Activation Functions

Bubacarr Bah, Jannis Kurtz|arXiv (Cornell University)|2020. 07. 07.

Machine Learning and Algorithms참고 문헌 33인용 수 8

한 줄 요약

이 논문은 전이 학습이 가능한 이진 활성화 함수를 사용하는 딥 네ural 네트워크(BDNN)를 위한 혼합정수선형계획법(MILP) 수식을 제안하며, 고전적 정수해법기를 통해 전역 최적해를 확보한다. 히ュ리스틱 변형은 대규모 데이터셋에서는 계산 비용이 높지만, 유방암 위스콘신 데이터셋에서 10번의 랜덤 분할에 걸쳐 97.1%의 정확도를 기록하며 표준 ReLU 기반 DNN을 능가한다.

ABSTRACT

We study deep neural networks with binary activation functions (BDNN), i.e. the activation function only has two states. We show that the BDNN can be reformulated as a mixed-integer linear program which can be solved to global optimality by classical integer programming solvers. Additionally, a heuristic solution algorithm is presented and we study the model under data uncertainty, applying a two-stage robust optimization approach. We implemented our methods on random and real datasets and show that the heuristic version of the BDNN outperforms classical deep neural networks on the Breast Cancer Wisconsin dataset while performing worse on random data.

연구 동기 및 목표

• 비가역적인 이진 활성화 함수를 사용하는 딥 네럴 네트워크를 정확한 최적화 방법으로 훈련하는 데 도전하는 것.
• 혼합정수선형계획법(MILP)으로 문제를 재구성함으로써 BDNN 훈련에서 전역 최적성을 보장하는 것.
• 정확한 해가 계산적으로 비용이 많이 들 경우에도 확장 가능한 추론을 위한 히ュ리스틱 알고리즘을 개발하는 것.
• MILP 프레임워크 내에서 이중 단계 강건 최적화 접근법을 적용하여 적대적 공격에 대한 강건성을 향상시키는 것.
• 합성 및 실세계 데이터셋에서 BDNN의 성능을 평가하고, 표준 ReLU 기반 DNN과 비교하는 것.

제안 방법

• 이진 활성화 함수는 이진 변수와 big-M 제약 조건을 사용하여 모델링된 혼합정수선형계획법(MILP)으로 재구성된다.
• 각 레이어의 이진 활성화 함수에 대해 최적화 가능한 임계값 λk를 포함하여 가중치와 임계값을 동시에 최적화할 수 있도록 설계된다.
• 이중 변수를 반복적으로 고정하고, 완화된 MILP를 풀어 국소 최적해를 계산하는 히ュ리스틱 알고리즘을 제안한다.
• 입력 데이터의 불확실성을 강건 대응형으로 모델링함으로써, 적대적 편향에 대한 보호를 위한 이중 단계 강건 최적화 모델을 적용한다.
• 강건 수식은 컬럼 앤 컨스트레인 생성 알고리즘을 사용하여 해결하지만, 더 큰 인스턴스에서는 수렴 속도가 느리다.
• 모든 모델는 랜덤 데이터와 유방암 위스콘신 데이터셋에서 구현 및 테스트되었으며, 표준 ReLU 기반 DNN과의 성능를 비교하였다.

실험 결과

연구 질문

• RQ1 학습 가능한 임계값을 가진 이진 딥 네럴 네트워크는 혼합정수계획법을 통해 정확하게 훈련될 수 있는가?
• RQ2 실세계 데이터셋에서 정확한 MILP 기반 BDNN의 성능은 표준 ReLU 기반 DNN과 비교해 어떻게 되는가?
• RQ3 BDNN를 위한 히ュ리스틱 알고리즘은 계산 가능성을 유지하면서도 표준 DNN보다 더 높은 정확도를 달성할 수 있는가?
• RQ4 이중 단계 강건 최적화 접근법은 BDNN의 적대적 강건성에 얼마나 기여하는가?
• RQ5 BDNN는 데이터 분포와 하이퍼파ram터 설정에 얼마나 민감한가, 특히 안정성과 일반화 능력 측면에서 어떻게 되는가?

주요 결과

• 히ュ리스틱 BDNN는 10번의 랜덤 데이터 분할에 걸쳐 유방암 위스콘신 데이터셋에서 최고 97.1%의 정확도를 기록했으며, 표준 DNN의 최대 91.4%를 초월했다.
• 동일한 데이터셋에서 d₁=25일 경우, 히ュ리스틱 BDNN는 단일 실행에서 95.0%의 정확도를 기록했으며, DNN의 91.4%를 뛰어넘었다.
• 정확한 BDNN 솔버는 BCW 데이터셋에서 0.0%의 최적성 갭을 확보한 최적해를 발견했지만, 히ュ리스틱보다 훨씬 더 많은 런타임을 소요했다.
• 랜덤 데이터셋에서는 정확한 및 히ュ리스틱 BDNN 모두가 DNN보다 낮고 불안정한 정확도를 보였으며, 합성 데이터에 대한 일반화 능력이 떨어지는 것으로 나타났다.
• 정확한 및 히ュ리스틱 BDNN의 런타임은 데이터 포인트 수와 선형적으로 증가하여, 수백만 개의 샘플을 포함한 대규모 데이터셋에서는 적용이 불가능했다.
• d₁=20 및 20개의 데이터 포인트를 가진 인스턴스에서 강건 BDNN 수식은 24시간 이내에 종료되지 않아, 강건한 이중 단계 문제의 확장성에 문제가 있음을 시사했다.