[논문 리뷰] Constrained Monotonic Neural Networks

Davor Runje, Sharath M Shankaranarayana|arXiv (Cornell University)|2022. 05. 24.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 ReLU와 같은 비포화 활성화 함수를 사용하면서도 임의의 단조 함수를 모델링할 수 있는 새로운 제약 조건이 부여된 단조 신경망 아키텍처를 제안한다. 두 가지 유도된 단조 활성화 함수와 가중치 제약 조건을 도입함으로써, 추가적인 학습 복잡도 없이도 상태최저 수준의 정확도를 달성하면서도 파rameter 수를 크게 줄일 수 있으며, 동시에 단조성 보장을 보장한다. 이는 ℝⁿ의 컴act 부분집합에서 연속적인 단조 함수를 임의로 근사할 수 있다.

ABSTRACT

Wider adoption of neural networks in many critical domains such as finance and healthcare is being hindered by the need to explain their predictions and to impose additional constraints on them. Monotonicity constraint is one of the most requested properties in real-world scenarios and is the focus of this paper. One of the oldest ways to construct a monotonic fully connected neural network is to constrain signs on its weights. Unfortunately, this construction does not work with popular non-saturated activation functions as it can only approximate convex functions. We show this shortcoming can be fixed by constructing two additional activation functions from a typical unsaturated monotonic activation function and employing each of them on the part of neurons. Our experiments show this approach of building monotonic neural networks has better accuracy when compared to other state-of-the-art methods, while being the simplest one in the sense of having the least number of parameters, and not requiring any modifications to the learning procedure or post-learning steps. Finally, we prove it can approximate any continuous monotone function on a compact subset of $\mathbb{R}^n$.

연구 동기 및 목표

• 의료 및 금융과 같은 중요한 도메인에서 모델의 해석 가능성과 공정성과 같은 핵심 요건을 충족시키기 위해 신경망에 단조성을 강제하는 문제를 해결하기 위해.
• ReLU와 같은 비포화 활성화 함수를 사용할 경우 기존의 가중치 부호 제약 네트워크가 볼록 함수에만 제한되므로, 이를 해결하기 위해.
• 표준적으로 널리 채택된 활성화 함수를 사용하면서도 비볼록 단조 함수의 근사가 가능하도록 하되, 동시에 단조성을 유지하는 방법을 개발하기 위해.
• 기존 최고 수준의 접근 방식에 비해 계산 및 파rameter 오버헤드를 최소화하면서도 뛰어난 성능을 달성하기 위해.
• 제안된 아키텍처가 ℝⁿ의 컴act 부분집합에서 어떤 연속적인 단조 함수라도 근사할 수 있다는 이론적 증명을 제공하기 위해.

제안 방법

• 기본 비포화 단조 활성화 함수(예: ReLU)에서 유도된 두 가지 새로운 단조 활성화 함수를 도입하여, 단조성을 보장하면서도 비볼록 함수 근사를 가능하게 한다.
• 동일한 레이어 내의 서로 다른 뉴런 집합에 원래 활성화 함수와 두 유도된 활성화 함수를 적용함으로써 제약 조건이 부여된 단조 완전 연결 레이어를 구성한다.
• 모든 레이어 내 가중치를 비음수로 제약하여 단조성을 보장함으로써, 활성화 함수의 선택과 관계없이 출력이 항상 단조가 되도록 한다.
• 표준 백프로파게이션과 경사 하강법을 사용하여 학습하며, 추가 정규화, 손실 함수 수정, 후처리 단계가 필요 없다.
• 표준 완전 연결 레이어와의 교환 가능성을 유지하여 학습의 단순성과 추론 효율성을 그대로 보존한다.
• 비포화 활성화 함수의 넓은 범주에 대해, 이 아키텍처가 ℝⁿ의 컴act 부분집합에서 어떤 연속적인 단조 함수라도 근사할 수 있음을 이론적으로 증명한다.

실험 결과

연구 질문

• RQ1 ReLU와 같은 비포화 활성화 함수를 사용하는 단조 신경망이 비볼록 단조 함수를 근사할 수 있는가?
• RQ2 제안된 방법이 기존 최고 수준의 단조 신경망에 비해 정확도와 파rameter 효율성 측면에서 뛰어나게 성능을 발휘하는가?
• RQ3 추가적인 학습 절차나 후처리 단계 없이도 단조성을 보장할 수 있는가?
• RQ4 COMET 및 Certified와 같은 대안 대비 계산 복잡도와 모델 크기 측면에서 제안된 아키텍처는 어떻게 비교되는가?
• RQ5 제안된 방법이 ℝⁿ의 컴act 부분집합에서 어떤 연속적인 단조 함수라도 이론적으로 근사할 수 있는가?

주요 결과

• COMET 및 Min-Max Net과 같은 최고 수준의 방법에 비해 분류 작업에서 뛰어난 테스트 정확도를 달성하고, 회귀 작업에서는 더 낮은 평균 제곱 오차(MSE)와 루트 평균 제곱 오차(RMSE)를 기록한다.
• COMET 및 Certified와 같은 대안 대비 파rameter 수가 수 개의 주기수만큼 줄어들어, 메모리 사용량과 추론 비용을 크게 감소시킨다.
• Min-Max Network 및 Deep Lattice Network(DLN)보다 더 뛰어난 성능을 내면서도 파rameter 수가 적고 학습 절차가 간단하다.
• 가중치 제약 조건과 활성화 함수 설계를 통해 단조성이 구조적으로 보장되어, 학습 중에 반복적 또는 히우리스틱 방식의 강제화가 필요 없어진다.
• 10번의 랜덤 실행에서 일관된 성능을 보이며, 최상의 5개 결과의 평균과 표준편차를 보고하여 재현성과 안정성이 높음을 입증한다.
• 이론적 분석을 통해 아키텍처가 ℝⁿ의 컴act 부분집합에서 어떤 연속적인 단조 함수라도 근사할 수 있음을 증명하여, 단조 함수에 대한 보편 근사 능력을 입증한다.