[논문 리뷰] On the Number of Linear Regions of Convolutional Neural Networks

Huan Xiong, Lei Huang외 4명|arXiv (Cornell University)|2020. 06. 01.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 25

한 줄 요약

이 논문은 ReLU 컨볼루션 신경망(CNN)에서 선형 영역의 수에 대한 최초의 이론적 분석을 제공하며, 일층 CNN에 대해서는 정확한 공식을 도출하고 더 깊은 아키텍처에 대해서는 경계를 제시한다. 깊이 있는 CNN이 매개변수당 얕은 네트워크와 완전히 연결된 네트워크보다 훨씬 높은 표현력을 가지며, 실질적인 성능 우수성의 원인을 설명한다.

ABSTRACT

One fundamental problem in deep learning is understanding the outstanding performance of deep Neural Networks (NNs) in practice. One explanation for the superiority of NNs is that they can realize a large class of complicated functions, i.e., they have powerful expressivity. The expressivity of a ReLU NN can be quantified by the maximal number of linear regions it can separate its input space into. In this paper, we provide several mathematical results needed for studying the linear regions of CNNs, and use them to derive the maximal and average numbers of linear regions for one-layer ReLU CNNs. Furthermore, we obtain upper and lower bounds for the number of linear regions of multi-layer ReLU CNNs. Our results suggest that deeper CNNs have more powerful expressivity than their shallow counterparts, while CNNs have more expressivity than fully-connected NNs per parameter.

연구 동기 및 목표

• 입력 공간 내에서 선형 영역의 수를 분석하여 깊이 있는 컨볼루션 신경망(CNN)의 표현력을 이해하기 위해.
• 기존의 완전히 연결된 ReLU 네트워크에서의 선형 영역에 대한 연구를 컨볼루션 환경으로 확장하기 위해.
• 깊이와 아키텍처가 완전히 연결된 네트워크 대비 CNN의 표현력에 미치는 영향을 정량화하기 위해.
• 일층 및 다층 ReLU CNN에서 선형 영역 수에 대한 정확한 표현과 경계를 수립하기 위해.
• 대규모 샘플링 실험을 통해 이론적 결과를 검증하기 위해.

제안 방법

• 조합 기하학과 초평면 배열 이론을 사용하여 일층 ReLU CNN에서 최대 및 평균 선형 영역 수에 대한 정확한 공식을 유도한다.
• Zaslavsky의 정리를 적용하여 일반적인 위치에 있는 초평면이 형성하는 영역 수를 세며, 이를 CNN의 가중치 및 편향 구조에 맞게 조정한다.
• 2×10⁹개의 입력 포인트를 기반으로 뉴런 활성화의 부호 패턴을 평가하여 다층 CNN에서 선형 영역을 추정하는 샘플링 기반 방법을 사용한다.
• 필터 상호작용, 커널 크기, 특징 맵 차원을 분석하여 다층 ReLU CNN에 대한 상한 및 하한 경계를 수립한다.
• 합성 CNN에서 샘플링된 영역 수와 이론적 한계를 비교하여 이론적 경계의 타당성을 검증한다.
• 무작위 가중치 초기화 하에서 영역 수의 통계적 기대값을 분석하여, 일층 케이스에서 최대값과 동일한 결과를 도출한다.

실험 결과

연구 질문

• RQ1 일층 ReLU CNN이 입력 공간을 나눌 수 있는 최대 선형 영역 수는 정확히 얼마인가요?
• RQ2 무작위 가중치 초기화 하에서 일층 ReLU CNN의 평균 선형 영역 수는 최대 수와 비교해 어떻게 되나요?
• RQ3 깊은 ReLU CNN에서 선형 영역 수에 대한 이론적 상한 및 하한 경계는 무엇인가요?
• RQ4 매개변수 수로 정규화했을 때, ReLU CNN의 표현력은 완전히 연결된 ReLU 네트워크와 비교해 어떻게 되나요?
• RQ5 학습 중이거나 소규모 변형이 가해졌을 때 네트워크 매개변수의 변화가 선형 영역 수에 어떤 영향을 미치나요?

주요 결과

• 일층 ReLU CNN의 경우, 초평면 배열 이론에서 유도된 정확한 폐쇄형 공식에 의해 최대 선형 영역 수가 주어진다.
• 무작위 가중치 초기화 하에서 선형 영역 수의 기대값은 일층 CNN의 최대 영역 수와 동일하며, 이는 일층 완전히 연결된 네트워크와 일致한다.
• 다층 ReLU CNN은 동일한 매개변수 수를 가진 얕은 네트워크보다 지수적으로 더 많은 선형 영역을 달성하여 높은 표현력을 보인다.
• 깊은 CNN에 대한 이론적 상한 및 하한 경계는 깊이가 선형 영역 수를 크게 증가시킴을 보여주며, 표현력에서 깊이의 우수성을 확인한다.
• 샘플링 실험을 통해 이론적 경계가 검증되었으며, 일층 및 이중층 CNN에서 샘플링을 통해 구한 영역 수가 이론적 예측과 매우 유사함을 보였다.
• ReLU CNN은 완전히 연결된 ReLU 네트워크보다 매개변수당 더 높은 표현력을 가지며, 기능 표현에서 아키텍처 효율성이 뛰어남을 시사한다.