[논문 리뷰] On the Expressive Power of Deep Neural Networks

Maithra Raghu, Ben Poole외 3명|arXiv (Cornell University)|2016. 06. 16.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 75

한 줄 요약

이 논문은 깊이 신경망의 표현력에 대한 통합적 측도로 궤적 길이를 도입하며, 깊이가 증가함에 따라 하층의 가중치에 대한 민감도가 증가함에 따라 표현력이 지수적으로 증가함을 보여준다. 하층을 훈련시키는 것이 성능 향상에 크게 기여하며, 배치 정규화와 유사한 성능을 내지만 더 효율적인 궤적 정규화를 제안한다.

ABSTRACT

We propose a new approach to the problem of neural network expressivity, which seeks to characterize how structural properties of a neural network family affect the functions it is able to compute. Our approach is based on an interrelated set of measures of expressivity, unified by the novel notion of trajectory length, which measures how the output of a network changes as the input sweeps along a one-dimensional path. Our findings can be summarized as follows: (1) The complexity of the computed function grows exponentially with depth. (2) All weights are not equal: trained networks are more sensitive to their lower (initial) layer weights. (3) Regularizing on trajectory length (trajectory regularization) is a simpler alternative to batch normalization, with the same performance.

연구 동기 및 목표

• 신경망의 아키텍처적 깊이와 넓이가 실제로 존재하는 극단적이지 않은 설정에서 계산할 수 있는 함수에 어떤 영향을 미치는지 이해하기 위해.
• 기존의 수동으로 설계된 가중치 구성에서 유도된 하한선과 일치하는 이론적 상한선이 부족한 문제를 해결하기 위해.
• 특히 훈련된 모델에서의 경험적 성능와 네트워크의 표현력 간의 관계를 조사하기 위해.
• 특정 가중치 값에 종속되지 않고 표준 아키텍처에 적용 가능한 표현력 측정 프레임워크를 개발하기 위해.
• 정규화가 네트워크 표현력과 일반화에 미치는 역할을 탐구하기 위해.

제안 방법

• 네트워크 출력이 일차원 입력 경로를 따라 얼마나 변화하는지 측정하는 궤적 길이를 정의하여 비선형 변환 복잡도를 포괄하는 표현력 측도로 사용한다.
• 활성화 패턴—활성화된 뉴런의 서로 다른 조합의 수—을 표현력의 대체 측정치로 사용하며, 이에 이론적 상한선을 도출한다.
• 입력과 가중치를 경로를 따라 스위핑할 때의 통계적 이중성 분석을 통해 표현력 측도에서 동등한 성능을 보임을 보여준다.
• 궤적 길이를 제어함으로써 표현 학습을 안정화시키는 궤적 정규화를 제안하며, 배치 정규화에서 영감을 받는다.
• MNIST와 CIFAR-10에서의 실험을 통해 가중치 변형에 대한 강건성과 계층별 훈련 조건에서의 성능을 평가한다.
• 임의 행렬 이론과 통계적 이중성을 적용하여 궤적 길이와 분할 가능성의 수가 깊이에 따라 지수적으로 증가하고 넓이와는 무관함을 보여준다.

실험 결과

연구 질문

• RQ1 깊이 신경망의 표현력은 깊이에 따라 어떻게 증가하며, 이러한 증가를 이끄는 메커니즘은 무엇인가?
• RQ2 왜 훈련된 네트워크에서 하층의 가중치가 상층의 가중치보다 성능에 더 중요한가?
• RQ3 궤적 길이가 다양한 네트워크 아키텍처와 초기화 방법에 걸쳐 표현력을 통합적으로 측정하는 데 유용한가?
• RQ4 특히 배치 정규화와 같은 정규화가 궤적 길이와 표현 안정성에 어떤 영향을 미치는가?
• RQ5 궤적 길이를 기반으로 한 새로운 정규화 기법이 계산 비용을 줄이며 배치 정규화와 동등한 성능을 낼 수 있는가?

주요 결과

• 궤적 길이는 네트워크의 깊이에 따라 지수적으로 증가하며, 더 깊은 네트워크가 얕은 네트워크보다 훨씬 더 복잡한 함수를 표현할 수 있음을 시사한다.
• 훈련된 네트워크는 하층의 가중치에 노이즈가 더 민감하게 반응함을 확인하여, 초기 계층이 출력에 더 큰 영향을 미침을 입증한다.
• 하층을 잘 훈련시키면 단 한 개의 계층만 업데이트되더라도 성능 향상이 뚜렷하게 이루어지며, 이는 하층의 영향력이 비례적으로 크다는 것을 보여준다.
• 궤적 정규화는 배치 정규화와 유사한 성능를 달성하지만 계산 오버헤드가 더 적어 더 효율적인 대안임을 시사한다.
• 달성 가능한 분할 가능성의 수는 스위핑된 계층 위의 남은 계층 수에 따라 결정되며 총 깊이와는 무관하여, 깊이에 따른 표현력이 모듈러함을 나타낸다.
• 훈련은 특히 작은 가중치 초기화에서 궤적 길이를 증가시키며, 이는 최적화 과정이 정확도 향상을 위해 표현력을 향상시킴을 시사한다.