[논문 리뷰] Equivalent and Approximate Transformations of Deep Neural Networks

Abhinav Kumar, Thiago Serra외 1명|arXiv (Cornell University)|2019. 05. 27.

Adversarial Robustness in Machine Learning참고 문헌 55인용 수 11

한 줄 요약

이 논문은 안정된 유닛(항상 활성화되거나 비활성화되는 유닛)과 층을 식별하고 제거함으로써 딥 ReLU 네트워크에 대해 등가 및 근사 변환을 제안한다. 이는 손실 없는 압축을 가능하게 한다. 또한 모든 ReLU 네트워크가 $l_1$-정규화와 적대적 훈련을 통해 2층의 얕은 네트워크로 전역적으로 근사될 수 있음을 증명하며, 선형 영역의 수를 크게 줄여 효율적인 모델 압축과 근사화를 가능하게 한다.

ABSTRACT

Two networks are equivalent if they produce the same output for any given input. In this paper, we study the possibility of transforming a deep neural network to another network with a different number of units or layers, which can be either equivalent, a local exact approximation, or a global linear approximation of the original network. On the practical side, we show that certain rectified linear units (ReLUs) can be safely removed from a network if they are always active or inactive for any valid input. If we only need an equivalent network for a smaller domain, then more units can be removed and some layers collapsed. On the theoretical side, we constructively show that for any feed-forward ReLU network, there exists a global linear approximation to a 2-hidden-layer shallow network with a fixed number of units. This result is a balance between the increasing number of units for arbitrary approximation with a single layer and the known upper bound of $\lceil log(n_0+1) ceil +1$ layers for exact representation, where $n_0$ is the input dimension. While the transformed network may require an exponential number of units to capture the activation patterns of the original network, we show that it can be made substantially smaller by only accounting for the patterns that define linear regions. Based on experiments with ReLU networks on the MNIST dataset, we found that $l_1$-regularization and adversarial training reduces the number of linear regions significantly as the number of stable units increases due to weight sparsity. Therefore, we can also intentionally train ReLU networks to allow for effective loss-less compression and approximation.

연구 동기 및 목표

• 딥 ReLU 네트워크가 단순화된 유닛 수나 층 수를 가진 등가 또는 근사 네트워크로 변환될 수 있는지 조사하기.
• 네트워크 출력에 영향을 주지 않도록 ReLU 유닛을 안전하게 제거하거나 병합할 수 있는 조건을 규명하기.
• 오직 두 개의 은닉층만을 사용하여 깊은 네트워크의 전역 선형 근사화에 대한 이론적 기반을 마련하기.
• 정규화와 적대적 훈련이 선형 영역 수와 활성화 패턴에 어떤 영향을 미치는지 평가하기.
• 구조적 단순화를 통해 손실 없는 압축과 효율적인 근사화를 가능하게 하기.

제안 방법

• 입력 도메인 전역에서 항상 활성화되거나 비활성화되는 안정된 ReLU 유닛을 식별하여 안전한 제거를 가능하게 하기.
• 제한된 입력 도메인 요구 시 국소 등가성을 활용해 층을 압축하고 유닛을 제거하기.
• 활성화 패턴을 기반으로 어떤 ReLU 네트워크라도 두 은닉층을 가진 얕은 네트워크로 전역 선형 근사화를 구성하기.
• 활성화 패턴을 통해 선형 영역을 정의하고 관련 패턴에 집중함으로써 네트워크 크기를 줄이기.
• $l_1$-정규화와 적대적 훈련을 적용하여 가중치 희소성과 유닛 안정성을 유도하고 활성화 패턴을 줄이기.
• 다양한 아키텍처와 정규화 기법을 사용한 MNIST에서의 실증적 평가를 통해 활성화 패턴과 수렴성을 측정하기.

실험 결과

연구 질문

• RQ1 안정된 유닛을 제거함으로써 ReLU 네트워크가 더 적은 유닛 수나 층 수를 가진 등가 네트워크로 변환될 수 있는가?
• RQ2 국소 등가성은 얼마나 깊이 있는 층의 압축과 네트워크 단순화를 가능하게 하는가?
• RQ3 모든 깊은 ReLU 네트워크가 얕은 2층 네트워크로 전역적으로 근사될 수 있다는 이론적 보장이 존재하는가?
• RQ4 $l_1$-정규화와 적대적 훈련이 선형 영역 수와 활성화 패턴에 어떤 영향을 미치는가?
• RQ5 활성화 패턴 기반의 구조적 단순화가 깊은 네트워크의 효과적이고 손실 없는 압축을 가능하게 하는가?

주요 결과

• 5,5,5,5 아키텍처에서, 기존 모델의 활성화 패턴 수는 105,480에서 $l_2$ 정규화 시 1,121로, $l_1$ 정규화 시에도 1,121로 감소하여 정규화에 의해 크게 줄어듦을 확인하였다.
• 5,5,5,5 네트워크에서 $l_1$ 정규화와 함께 적대적 훈련을 적용한 결과, 활성화 패턴 수가 354로 감소하여 시험한 방법 중 가장 낮은 수준을 기록하였다.
• 더 깊은 아키텍처(예: 8,8,8,8,8,8)에서는 $l_1$ 정규화와 함께 적대적 훈련을 적용하여 활성화 패턴 수를 200,000 이상에서 8,157로 줄였으며, 강력한 압축 잠재력을 보였다.
• $l_1$ 정규화와 적대적 훈련을 적용한 모델는 선형 영역을 크게 줄였고, 검증 정확도는 최대 93.92%까지 상승시켰다.
• 이론적 분석을 통해 어떤 ReLU 네트워크도 두 은닉층을 가진 얕은 네트워크로 전역적으로 근사될 수 있음을 확인하였으며, 깊이와 너비 사이의 균형을 이루었다.
• 항상 활성화되거나 비활성화되는 안정된 유닛은 출력에 영향을 주지 않으며, 입력 도메인이 제한된 경우 손실 없는 압축이 가능하다.