[논문 리뷰] On the Depth of Deep Neural Networks: A Theoretical View

Shizhao Sun, Wei Chen외 3명|arXiv (Cornell University)|2015. 06. 17.

Adversarial Robustness in Machine Learning참고 문헌 32인용 수 6

한 줄 요약

이 논문은 마진 경계를 사용하여 깊은 신경망(DNNs)에서 깊이의 이론적 역할을 조사하며, 깊이가 증가함에 따라 일반화 성능에 악영향을 주는 라데마처 평균(RA)이 증가하고, 동시에 표현 능력이 향상되어 경험적 마진 오차가 감소하는 상충 관계를 드러낸다. 이를 극복하기 위해 저자들은 마진 기반 페널티 항을 포함한 대규모 마진 DNN(LMDNN)을 제안하며, MNIST와 CIFAR-10에서 뚜렷한 테스트 정확도 향상을 이룩하여 이론을 실증적으로 검증한다.

ABSTRACT

People believe that depth plays an important role in success of deep neural networks (DNN). However, this belief lacks solid theoretical justifications as far as we know. We investigate role of depth from perspective of margin bound. In margin bound, expected error is upper bounded by empirical margin error plus Rademacher Average (RA) based capacity term. First, we derive an upper bound for RA of DNN, and show that it increases with increasing depth. This indicates negative impact of depth on test performance. Second, we show that deeper networks tend to have larger representation power (measured by Betti numbers based complexity) than shallower networks in multi-class setting, and thus can lead to smaller empirical margin error. This implies positive impact of depth. The combination of these two results shows that for DNN with restricted number of hidden units, increasing depth is not always good since there is a tradeoff between positive and negative impacts. These results inspire us to seek alternative ways to achieve positive impact of depth, e.g., imposing margin-based penalty terms to cross entropy loss so as to reduce empirical margin error without increasing depth. Our experiments show that in this way, we achieve significantly better test performance.

연구 동기 및 목표

• 마진 경계를 사용하여 깊이가 DNN 일반화에 미치는 영향을 이론적으로 분석한다.
• 깊이의 双중 역할를 특정한다: 표현 능력을 증가시키지만, 동시에 라데마처 평균(RA)을 증가시켜 테스트 성능에 악영향을 미친다.
• 깊이를 증가시키지 않고도 깊이 유사 효과를 달성할 수 있는 대체 방법을 제안하여 상충 관계를 해소한다.
• 마진 기반 정규화가 표준 DNN보다 향상된 테스트 성능을 달성할 수 있음을 실증적으로 검증한다.

제안 방법

• 다중 클래스 설정에서 DNN의 라데마처 평균(RA)에 대한 상한을 유도하며, 깊이가 증가함에 따라 RA가 증가함을 보여준다.
• 베티 수 기반 복잡도를 사용하여 표현 능력을 측정하며, 더 깊은 네트워크가 더 높은 복잡도를 가짐을 입증한다.
• 교차 엔트로피 손실에 마진 기반 페널티 항을 추가하여 두 가지 대규모 마진 DNN(LMDNN) 알고리즘을 제안한다: 하나는 마진 위반에 대한 L2 노름을 사용(C1), 다른 하나는 L1 노름을 사용(C2).
• 역전파를 사용하여 페널티 손실을 최소화함으로써 경험적 마진 오차를 줄이고 용량을 제어한다.
• 잘 튜닝된 아키텍처(LeNet을 MNIST에, AlexNet을 CIFAR-10에 사용)를 사용하고, 10개의 랜덤 초기화에 대한 평균 테스트 오차를 보고한다.
• 마진 페널티 계수(λ)를 다양한 수준으로 변화시켜 하이퍼파ram터 민감도를 분석한다.

실험 결과

연구 질문

• RQ1 DNN의 깊이를 증가시키면 항상 테스트 성능이 향상되는가, 아니면 상충 관계가 존재하는가?
• RQ2 깊이가 마진 경계의 라데마처 평균(RA) 항에 미치는 영향은 무엇이며, 일반화에 어떤 영향을 미치는가?
• RQ3 더 깊은 네트워크가 더 높은 표현 능력 덕분에 경험적 마진 오차를 얼마나 줄이는가?
• RQ4 마진 기반 정규화는 깊이를 증가시키지 않고도 표준 DNN보다 더 나은 테스트 성능을 달성할 수 있는가?
• RQ5 제안된 LMDNN 방법의 성능는 마진 페널티 계수 λ의 선택에 얼마나 민감한가?

주요 결과

• 마진 경계의 라데마처 평균(RA) 항은 깊이가 증가함에 따라 증가하며, 일반화 성능에 악영향을 미친다는 것을 시사한다.
• 더 깊은 네트워크는 유의미하게 높은 베티 수 기반 복잡도를 보이며, 이는 더 높은 표현 능력과 더 낮은 경험적 마진 오차를 의미한다.
• LMDNN-C1은 MNIST에서 테스트 오차를 0.899%에서 0.734%로 감소시키고, CIFAR-10에서는 18.339%에서 17.598%로 감소시켜 뚜렷한 성능 향상을 이룬다.
• LMDNN-C2는 MNIST에서 테스트 오차를 0.736%로, CIFAR-10에서는 17.728%로 감소시켜 표준 DNN보다 일관되게 향상된 성능을 보였다.
• 실증 마진 오차는 LMDNN이 표준 DNN보다 항상 낮았으며, 이 감소와 함께 테스트 성능 향상이 관찰되었다.
• LMDNN이 표준 DNN를 초월하는 최적의 λ 범위가 존재하며, λ가 너무 클 경우 마진 페널티 최적화가 어려워져 성능이 저하됨을 확인했다.