[논문 리뷰] Measuring Model Complexity of Neural Networks with Curve Activation Functions

Xia Hu, Weiqing Liu외 2명|arXiv (Cornell University)|2020. 06. 16.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 4

한 줄 요약

이 논문은 Sigmoid 및 Tanh와 같은 곡선 활성화 함수를 갖는 딥 네ural 네트워크의 복잡도 측정법을 제안하며, 선형 영역 수를 최소화하면서도 근사 정확도를 유지하는 프레임워크인 LANN를 도입한다. 이 방법은 모델 복잡도 증가와 오버피팅 사이에 강한 정적 상관관계를 드러내며, 복잡도를 억제하고 일반화 성능을 향상시키기 위한 효과적인 정규화 전략(예: 뉴런 프루닝 및 맞춤형 L1 정규화)을 제안한다.

ABSTRACT

It is fundamental to measure model complexity of deep neural networks. The existing literature on model complexity mainly focuses on neural networks with piecewise linear activation functions. Model complexity of neural networks with general curve activation functions remains an open problem. To tackle the challenge, in this paper, we first propose the linear approximation neural network (LANN for short), a piecewise linear framework to approximate a given deep model with curve activation function. LANN constructs individual piecewise linear approximation for the activation function of each neuron, and minimizes the number of linear regions to satisfy a required approximation degree. Then, we analyze the upper bound of the number of linear regions formed by LANNs, and derive the complexity measure based on the upper bound. To examine the usefulness of the complexity measure, we experimentally explore the training process of neural networks and detect overfitting. Our results demonstrate that the occurrence of overfitting is positively correlated with the increase of model complexity during training. We find that the $L^1$ and $L^2$ regularizations suppress the increase of model complexity. Finally, we propose two approaches to prevent overfitting by directly constraining model complexity, namely neuron pruning and customized $L^1$ regularization.

연구 동기 및 목표

• Sigmoid 및 Tanh와 같은 곡선 활성화 함수를 갖는 딥 네ural 네트워크에서 모델 복잡도를 측정하는 데 있어 열려 있는 문제를 해결하기 위해.
• 곡선 활성화 함수를 정확히 표현하면서도 선형 영역 수를 최소화하는 조각별 선형 근사 프레임워크를 개발하기 위해.
• 근사에서 형성된 선형 영역 수의 상한을 기반으로 한 복잡도 측정법을 수립하여 모델의 비선형성 분석을 가능하게 하기 위해.
• 학습 중 모델 복잡도 증가와 오버피팅 간의 상관관계를 실증적으로 검증하기 위해.
• 일반화 성능 향상을 위해 직접적인 복잡도 제약 정규화 기법(뉴런 프루닝 및 맞춤형 L1 정규화)을 제안하고 평가하기 위해.

제안 방법

• 각 뉴런의 곡선 활성화 함수를 조각별 선형 함수로 근사하는 프레임워크인 선형 근사 신경망(LANN)을 도입한다.
• 사용자 정의 근사 오차 한계를 충족시키면서도 선형 영역 수를 최소화할 수 있도록 근사를 최적화한다.
• LANN에서 형성된 선형 영역 수의 상한을 유도하며, 이를 모델 복잡도 측정 기준으로 삼는다.
• 복잡도 측정 기준을 활용해 학습 동역학을 분석하고 복잡도 증가와 오버피팅 간의 상관관계를 규명한다.
• 활성화 함수 도함수의 기대 절대값을 기반으로 한 뉴런 프루닝을 제안하여 비선형 영역을 억제한다.
• 각 뉴런의 가중치 페널티가 활성화 함수 도함수의 기대 절대값에 비례하도록 맞춤형 L1 정규화를 설계한다.

실험 결과

연구 질문

• RQ1 기존 방법이 조각별 선형 활성화 함수에만 초점을 맞추고 있는 바탕으로, 곡선 활성화 함수를 갖는 딥 네ural 네트워크에서 모델 복잡도를 의미 있게 측정하는 방법은 무엇인가?
• RQ2 학습 과정에서 모델 복잡도는 어느 정도 증가하는가? 이 증가와 오버피팅 간의 상관관계는 어떠한가?
• RQ3 제안된 측정 기준으로 볼 때, L1 및 L2 정규화는 모델 복잡도 증가를 효과적으로 억제하는가?
• RQ4 뉴런 프루닝 및 맞춤형 L1 정규화를 통한 직접적 복잡도 제어는 성능 유지 조건에서 오버피팅을 방지할 수 있는가?

주요 결과

• LANN 근사에서의 선형 영역 수 상한 기반으로 제안된 복잡도 측정법은 곡선 활성화 함수를 갖는 모델의 비선형성을 효과적으로 포착한다.
• CIFAR 및 MOON 데이터셋에서 학습 과정 중 모델 복잡도 증가와 오버피팅 발생 간 강한 정적 상관관계가 관찰되었다.
• L1 및 L2 정규화는 모두 모델 복잡도 증가를 억제하는 것으로 나타났으며, 특히 L1 정규화가 더 두드러진 효과를 보였다.
• 활성화 함수 도함수의 기대 절대값을 기반으로 한 뉴런 프루닝은 복잡도 증가를 효과적으로 제한하고 오버피팅을 방지하며 성능 저하를 최소화한다.
• 활성화 함수 도함수의 기대 절대값이 높은 뉴런에 더 높은 페널티를 할당하는 맞춤형 L1 정규화는 표준 L1 정규화를 능가하며, 특히 높은 페널티 설정에서 뛰어난 성능을 보였다.
• MOON 데이터셋에서 뉴런 프루닝(PR) 및 맞춤형 L1(C-L1)을 적용한 모델은 각각 복잡도 측정값 25.02 및 25.11을 기록했으며, 선형 영역 수는 각각 182개 및 356개로, 표준 L1(382개) 및 L2(545개)보다 크게 감소했고, 뛰어난 성능 유지를 유지했다.