[논문 리뷰] Empirical Studies on the Properties of Linear Regions in Deep Neural Networks

Xiao Zhang, Dongrui Wu|arXiv (Cornell University)|2020. 01. 04.

Neural Networks and Applications참고 문헌 38인용 수 21

한 줄 요약

이 논문은 배치 정규화(BN)와 드롭아웃과 같은 최적화 기법이 선형 영역의 기하학적 및 구조적 성질에 미치는 영향을 분석하기 위해 다면체 계산을 활용한 새로운 경험적 프레임워크를 제안한다. 결과적으로, 유사한 정확도를 보일지라도 BN은 선형 영역의 수와 균일성을 증가시키지만, 드롭아웃은 결합된 법선 방향을 공유하는 결정 경계 근처에 영역이 집중됨을 밝혀내며, 이는 서로 다른 암묵적 인덕티브 편향을 시사한다.

ABSTRACT

A deep neural network (DNN) with piecewise linear activations can partition the input space into numerous small linear regions, where different linear functions are fitted. It is believed that the number of these regions represents the expressivity of the DNN. This paper provides a novel and meticulous perspective to look into DNNs: Instead of just counting the number of the linear regions, we study their local properties, such as the inspheres, the directions of the corresponding hyperplanes, the decision boundaries, and the relevance of the surrounding regions. We empirically observed that different optimization techniques lead to completely different linear regions, even though they result in similar classification accuracies. We hope our study can inspire the design of novel optimization techniques, and help discover and analyze the behaviors of DNNs.

연구 동기 및 목표

• 분류 정확도 외에도 다양한 최적화 기법(예: BN, 드롭아웃)이 DNN 내 선형 영역의 기하학적 및 위상적 성질에 미치는 영향을 조사하기 위해.
• 선형 영역의 국소적 구조, 특히 초평면 방향, 내접구 반지름, 영역의 중요도 등을 분석하기 위해 다면체 계산 도구를 개발하고 적용하기 위해.
• 입력 공간의 분할에 미치는 영향을 분석함으로써 최적화 방법이 암묵적으로 유도하는 인덕티브 편향을 밝혀내기 위해.
• 선형 영역 성질과 적대적 강건성 및 기울기 역전파 동역학과 같은 DNN 행동 간의 관계를 탐색하기 위해.

제안 방법

• 연구는 ReLU 기반 DNN 내 선형 영역을 식별하고 특성화하기 위해 입력 공간 전반에서의 활성화 패턴을 분석함으로써 다면체 계산을 사용한다.
• 각 테스트 포인트에 대해, 활성 뉴런의 자코비안의 영공간 내에서 L2 정규화된 방향을 샘플링하여 영역 간 전이를 탐색한다.
• 작은 편향(ε = 0.2)을 사용하여 이러한 방향을 따라 고유한 선형 영역의 수를 계산하고, 영역 수와 공간 분포를 측정한다.
• 이웃 영역 간의 기울기 벡터(결정 방향)의 코사인 유사도를 통해 이웃 영역의 중요도를 정량화한다.
• 이 분석은 MNIST 데이터셋을 사용하여 다양한 최적화 기법(기본 모델, BN, 드롭아웃)으로 학습된 모델에 적용되었으며, 1000개의 테스트 포인트와 포인트당 100개의 샘플링된 방향을 사용하였다.
• 이 방법을 통해 초평면 법선 방향, 내접구 크기, 특히 결정 경계 근처의 영역 군집 패턴을 비교할 수 있다.

실험 결과

연구 질문

• RQ1 배치 정규화와 드롭아웃과 같은 다양한 최적화 기법이 DNN 내 선형 영역의 수, 크기, 공간 분포에 어떻게 영향을 미치는가?
• RQ2 선형 영역을 정의하는 초평면의 법선 방향과 사용된 최적화 방법 간의 관계는 무엇인가?
• RQ3 이웃 선형 영역의 중요도(기울기 유사도로 측정)는 적대적 강건성이나 최적화 안정성과 같은 DNN 행동에 어떻게 영향을 미치는가?
• RQ4 선형 영역 성질이 정확도와 독립적으로 모델 일반화 또는 강건성과 얼마나 관련이 있는가?

주요 결과

• 배치 정규화는 기존 모델 대비 선형 영역의 수를 증가시키고, 영역 크기의 균일성을 향상시킨다.
• 드롭아웃은 결정 경계 근처에 선형 영역이 더 높은 농도로 집중되며, 많은 영역이 유사한 법선 방향을 공유함을 보여준다.
• 선형 영역 내 기울기 방향은 인접한 이웃 영역의 기울기 방향과 높은 상관관계를 보이며, 이는 강한 국소적 선형성을 시사하지만, 깊이가 증가함에 따라 이 유사도는 감소한다.
• 배치 정규화는 이웃 영역 간 기울기 중요도를 약간 감소시켜, 파편화된 기울기 문제를 완화할 수 있음을 시사한다.
• 작은 학습률로 학습된 모델은 입력 공간을 더 많은 선형 영역으로 분할함을 보여주며, 학습 동역학과 영역 복잡성 간의 연관성을 시사한다.
• 유사한 테스트 정확도를 보일지라도, BN과 드롭아웃은 근본적으로 다른 선형 영역 구조를 생성하며, 이는 모델 행동에 대한 서로 다른 인덕티브 편향을 암시한다.