[논문 리뷰] Certified Monotonic Neural Networks

Xingchao Liu, Xing Han외 2명|arXiv (Cornell University)|2020. 11. 20.

Adversarial Robustness in Machine Learning인용 수 31

한 줄 요약

MILP를 활용한 검증 기반 프레임워크로 선택된 입력에 대해 인증된 단조함을 가진 신경망을 학습하고, 단조성 검사를 혼합 정수 선형 계획(MILP)으로 형식화합니다. 이 방법은 단조성 보장을 갖춘 유연한 아키텍처 학습을 가능하게 하며, 기존의 단조 모델에 비해 더 높은 정확도와 해석 가능성을 보여줍니다.

ABSTRACT

Learning monotonic models with respect to a subset of the inputs is a desirable feature to effectively address the fairness, interpretability, and generalization issues in practice. Existing methods for learning monotonic neural networks either require specifically designed model structures to ensure monotonicity, which can be too restrictive/complicated, or enforce monotonicity by adjusting the learning process, which cannot provably guarantee the learned model is monotonic on selected features. In this work, we propose to certify the monotonicity of the general piece-wise linear neural networks by solving a mixed integer linear programming problem.This provides a new general approach for learning monotonic neural networks with arbitrary model structures. Our method allows us to train neural networks with heuristic monotonicity regularizations, and we can gradually increase the regularization magnitude until the learned network is certified monotonic. Compared to prior works, our approach does not require human-designed constraints on the weight space and also yields more accurate approximation. Empirical studies on various datasets demonstrate the efficiency of our approach over the state-of-the-art methods, such as Deep Lattice Networks.

연구 동기 및 목표

• ML 모델에서의 공정성, 해석 가능성 및 일반화에 대한 단조성의 필요성에 대한 동기 부여.
• piecewise linear 신경망(ReLU 등)에 대해 단조성을 인증하기 위한 검증 기반 접근법 도입.
• 인증이 달성될 때까지 정규화를 통해 점진적으로 단조성을 강화하는 학습 알고리즘 개발.
• 계층별 분해를 통해 더 깊은 네트워크로 방법 확장하여 검증의 계산 가능성 유지.
• 기존의 단조 방법과 비교하여 정확도, 해석 가능성 및 강인성에서 실험적 이득을 입증

제안 방법

• ReLU 등 piecewise linear 활성화 함수를 사용하여 MILP를 이용한 단조성 검증 형식화.
• ReLU 동작을 포착하는 MILP 제약 조건으로 최대화 문제를 풀어 특정 지점에서 개별 단조성을 인증.
• 그라디언트를 최적화하고 지시자 조건을 MILP 제약으로 변환하여 전역 단조성 확인.
• 단조 특성에서 음의 편미 derivative를 벌점하는 단조성 정규화 R(f)로 네트워크를 학습하고 인증까지 벌점을 점진적으로 증가시키는 방식(Step 1 및 Step 2).
• 깊은 네트워크로의 확장은 두 층 블록으로 분해하고 각 블록에서 단조성을 강제하며, 층별 정규화 R̃(f)을 적용할 수 있도록 함.
• 일반 MILP 솔버(예: Gurobi) 등을 활용하고 검증 시간 및 확장성에 대한 점근적 통찰을 제공

실험 결과

연구 질문

• RQ1 임의의 신경망(아키텍처 제한 없음)이 입력의 부분 집합에 대해 단조성을 인증받을 수 있는가?
• RQ2 ReLU 네트워크에 대해 입력 도메인 전체에서 전역적으로 단조성을 어떻게 검증할 수 있는가?
• RQ3 단조성 정규화와 MILP 검증을 번갈아가며 수행하는 학습 규칙이 단조성이 있으며 정확한 모델을 얻으려는가?
• RQ4 깊은 네트워크의 층별 분해가 실용적이고 효과적으로 단조성을 인증하는 방법인가?
• RQ5 인증된 단조 네트워크의 정확도, 매개변수 효율성, 해석 가능성, 강인성 측면에서 기존 방법과 비교한 실험적 이점은 무엇인가?

주요 결과

• 제안된 MILP 기반 검증은 조각별 선형 네트워크의 단조성을 인증하고 존재하는 경우 단조성 위반(adversarial examples)을 탐지할 수 있습니다.
• 단조성 정규화와 반복적 검증을 통한 학습은 이전 방법(예: Deep Lattice Network, Min-Max Network)보다 매개변수가 적으면서도 테스트 정확도가 더 높은 단조 네트워크를 얻습니다.
• 층별 분해는 각 이층 블록이 단조성을 유지하도록 보장함으로써 깊은 네트워크의 확장 가능한 검증을 가능하게 하여 실용적인 인증을 가능하게 합니다.
• 다양한 데이터셋(COMPAS, Blog Feedback, Loan Defaulter, Chest X-Ray)에 걸친 실험 결과가 방법이 종종 기본 방법보다 정확도에서 우수하고 때로는 매개변수 수를 줄이는 경향이 있습니다.
• 단조 네트워크는 적대적 공격에 대한 강인성이 향상되고 해석 가능한 표현을 제공할 수 있습니다(예: MNIST의 단조 합성곱 신경망).