[논문 리뷰] Identity Matters in Deep Learning

Moritz Hardt, Tengyu Ma|arXiv (Cornell University)|2016. 11. 14.

Adversarial Robustness in Machine Learning인용 수 76

한 줄 요약

이 논문은 잔차 블록이 가중치가 0일 때 항등 함수를 표현할 수 있는 항등 매개변수화가 딥 러닝에서 최적화 및 표현 능력에 크게 기여함을 입증한다. 저자들은 깊이 있는 선형 잔차 신경망이 임의의 국소 최적해가 없음을 증명하고, ReLU 기반 잔차 신경망이 충분한 파라미터를 가질 경우 유한한 데이터셋에서 어떤 함수라도 보편적으로 표현할 수 있음을 보여주며, 배치 정규화나 드롭아웃 없이도 CIFAR 및 ImageNet에서 모든 컨볼루션 아키텍처에서 최고 성능을 달성한다.

ABSTRACT

An emerging design principle in deep learning is that each layer of a deep artificial neural network should be able to easily express the identity transformation. This idea not only motivated various normalization techniques, such as \emph{batch normalization}, but was also key to the immense success of \emph{residual networks}. In this work, we put the principle of \emph{identity parameterization} on a more solid theoretical footing alongside further empirical progress. We first give a strikingly simple proof that arbitrarily deep linear residual networks have no spurious local optima. The same result for linear feed-forward networks in their standard parameterization is substantially more delicate. Second, we show that residual networks with ReLu activations have universal finite-sample expressivity in the sense that the network can represent any function of its sample provided that the model has more parameters than the sample size. Directly inspired by our theory, we experiment with a radically simple residual architecture consisting of only residual convolutional layers and ReLu activations, but no batch normalization, dropout, or max pool. Our model improves significantly on previous all-convolutional networks on the CIFAR10, CIFAR100, and ImageNet classification benchmarks.

연구 동기 및 목표

• 잔차 신경망에서 항등 매개변수화의 설계 원리를 이론적으로 정당화하기 위해.
• 모델 크기가 샘플 수를 초과할 경우, ReLU 활성화를 갖는 잔차 신경망이 유한한 데이터셋에서 어떤 함수라도 보편적으로 표현할 수 있음을 보여주기 위해.
• 배치 정규화나 드롭아웃 없이도 최고 성능을 달성할 수 있는 단순한 모든 컨볼루션 잔차 신경망 아키텍처를 제시하기 위해.
• 최적화 및 표현 능력 보장에서 유도된 아키텍처 원칙을 이론과 실무 사이에 다리 역할을 하기 위해.
• 배치 정규화나 드롭아웃과 같은 정규화 기법에 대한 의존도를 줄여 깊이 있는 학습 아키텍처를 단순화하기 위해.

제안 방법

• 중요한 가중치 행렬의 스펙트럼 노름이 작을 경우, 기울기가 유일하게 전역 최적해에서 사라짐을 보여, 깊이 있는 선형 잔차 신경망이 비합리적 국소 최적해가 없음을 증명한다.
• 무게가 0일 때 항등 함수 표현이 가능한 형태의 인수 분해 매개변수화 $(I + A_\ell)\cdots(I + A_1)$ 를 사용한다.
• ReLU 기반 잔차 신경망의 보편적인 유한 샘플 표현 능력을 입증하기 위해, $n$개의 샘플에서 어떤 함수라도 $O(n\log n + r^2)$개의 파라미터로 표현할 수 있음을 보여준다.
• 배치 정규화, 드롭아웃, 풀링 레이어 없이 오직 잔차 컨볼루션과 ReLU 활성화 함수만을 사용하는 최소한의 모든 컨볼루션 아키텍처를 설계한다.
• 표준 최적화(모멘텀 SGD)를 사용하여 데이터 증강을 적용하고, 성능 향상에 깊이와 스킵 연결 외에 다른 요소를 사용하지 않는다.
• 기존의 모든 컨볼루션 및 잔차 아키텍처와 비교하기 위해 CIFAR-10, CIFAR-100, ImageNet 벤치마크에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 잔차 신경망에서 항등 매개변수화가 깊이 있는 선형 네트워크에서 비합리적 국소 최적해를 제거할 수 있는가?
• RQ2 충분한 모델 용량을 가진 ReLU 기반 잔차 신경망이 유한한 데이터셋에서 어떤 함수라도 보편적으로 표현할 수 있는가?
• RQ3 배치 정규화나 드롭아웃 없이도 최소한의 모든 컨볼루션 아키텍처가 이미지 분류 벤치마크에서 최고 성능을 달성할 수 있는가?
• RQ4 항등 매개변수화된 네트워크에서 최적화 장벽이 없는 것이 더 나은 일반화와 학습 안정성으로 이어지는가?
• RQ5 항등 매개변수화의 이론적 이점이 단순하고 깔끔한 아키텍처에서 실질적으로 실현될 수 있는가?

주요 결과

• 깊이 있는 선형 잔차 신경망은 비합리적 국소 최적해가 없다: 모든 가중치 행렬의 스펙트럼 노름이 $O(1/\ell)$일 경우 기울기가 전역 최적해에서만 사라지며, 이는 최적 해로의 수렴을 보장한다.
• 행렬 $R$가 $\det(R) > 0$ 를 만족할 경우, 각 $\|A_i\| \leq O(1/\ell)$ 를 만족하는 전역 최적해가 존재함을 의미하며, 이는 깊이가 클수록 작은 노름 해가 존재함을 시사한다.
• ReLU 기반 잔차 신경망은 보편적인 유한 샘플 표현 능력을 가진다: $n$개의 샘플에서 어떤 함수라도 $O(n\log n + r^2)$개의 파라미터로 표현할 수 있다. 여기서 $r$은 클래스 수이다.
• 배치 정규화나 드롭아웃 없이도 모든 컨볼루션 잔차 모델이 CIFAR-10에서 $6.38\%$의 상위-1 오차를 기록했으며, 이는 기존의 모든 컨볼루션 모델을 능가한다.
• ImageNet에서 동일한 아키텍처는 $35.29\%$의 상위-1 오차를 기록했으며, 이는 기존의 모든 컨볼루션 모델보다 뛰어나며, 과소적합 상태임에도 불구하고 경쟁력 있는 성능을 보이며, 하이퍼파rameter 튜닝을 통해 더 향상될 잠재력이 있음을 시사한다.
• CIFAR-10에서 1,350만 개의 파라미터를 가진 모델이 잘 일반화됨을 보여, 항등 매개변수화가 명시적 정규화 없이도 일반화를 지원함을 시사한다.