[논문 리뷰] Survey of Expressivity in Deep Neural Networks

Maithra Raghu, Ben Poole외 3명|arXiv (Cornell University)|2016. 11. 24.

Neural Networks and Applications참고 문헌 5인용 수 10

한 줄 요약

이 논문은 깊이에 따라 증가하는 표현력의 원리를 탐구하기 위해 전이, 활성화 패턴, 이분법이라는 세 가지 측정법을 도입한다. 이들 측정법은 네트워크의 깊이에 따라 지수적으로 증가하지만 너비에 따라 증가하지는 않는다. 이 연구는 궁극적으로 표현력에 영향을 미치는 주요 원인으로 경로 길이를 규명하였으며, 초기층이 나머지 깊이를 유지하기 때문에 표현력에 더 큰 영향을 미친다는 것을 실험을 통해 MNIST와 CIFAR-10에서 입증하였다.

ABSTRACT

We survey results on neural network expressivity described in "On the Expressive Power of Deep Neural Networks". The paper motivates and develops three natural measures of expressiveness, which all display an exponential dependence on the depth of the network. In fact, all of these measures are related to a fourth quantity, trajectory length. This quantity grows exponentially in the depth of the network, and is responsible for the depth sensitivity observed. These results translate to consequences for networks during and after training. They suggest that parameters earlier in a network have greater influence on its expressive power -- in particular, given a layer, its influence on expressivity is determined by the remaining depth of the network after that layer. This is verified with experiments on MNIST and CIFAR-10. We also explore the effect of training on the input-output map, and find that it trades off between the stability and expressivity.

연구 동기 및 목표

• 랜덤 초기화 이후 깊이와 너비가 깊이 신경망의 기능적 표현력에 어떻게 영향을 미치는지 이해하기 위해.
• 특정 가중치 설정에 의존하지 않는, 아키텍처에 관계없이 적용 가능한 표현력 측정법을 규명하기 위해.
• 특히 가중치 초기화가 이 균형에 미치는 영향을 고려하여, 훈련 과정에서 표현력과 안정성 간의 상충 관계를 조사하기 위해.
• 각 층 이후 남은 깊이에 기반해 초기 층이 네트워크 표현력에 미치는 영향을 분석하기 위해.
• MNIST와 CIFAR-10 데이터셋을 대상으로 이론적 결과를 경험적 실험을 통해 검증하기 위해.

제안 방법

• 선형 영역 수(전이), 전역 활성화 패턴, 고정된 입력 집합에서의 이분법이라는 세 가지 함수적 풍부도 측정법을 사용하여 표현력을 측정한다.
• 통합적인 척도로 경로 길이를 도입한다: 네트워크를 통해 전파되는 1차원 곡선의 호 길이로, 깊이에 따라 지수적으로 증가함을 보였다.
• 정규 분포를 사용한 무작위 가중치 초기화를 바탕으로 경로 길이 증가에 대한 이론적 하한을 유도한다: $\mathbb{E}[l(z^{(d)})] \geq O\left(\left(\frac{\sigma_w}{(\sigma_w^2 + \sigma_b^2)^{1/4}} \cdot \frac{\sqrt{k}}{\sqrt{\sqrt{\sigma_w^2 + \sigma_b^2} + k}}\right)^d\right) l(x(t))$.
• 하드-탄젠트 활성화를 사용하여 다양한 네트워크 너비 $k$와 가중치 분산 $\sigma_w^2$에서 경로 길이의 지수적 증가를 경험적으로 검증한다.
• MNIST와 CIFAR-10에서 훈련 전후의 경로 길이와 전이 수를 측정하여 훈련 동역학을 분석하고, 무작위 데이터와 실제 데이터 간의 보간을 비교한다.
• 모든 다른 층을 동결한 상태에서 개별 층만 훈련시켜 잔여 깊이의 영향을 분석하고, 층의 위치에 따른 정확도를 측정한다.

실험 결과

연구 질문

• RQ1 랜덤 초기화 이후 깊이와 너비에 따라 깊이 신경망의 표현력은 어떻게 척도가 증가하는가?
• RQ2 경로 길이가 전이 및 활성화 패턴과 같은 기능적 복잡도 측정법의 지수적 증가를 이끄는 역할은 무엇인가?
• RQ3 훈련 과정은 입력-출력 맵에서 안정성과 표현력 간의 상충 관계에 어떻게 영향을 미치는가?
• RQ4 한 층의 표현력이 그 층 이후의 잔여 깊이에 의해 결정되는 정도는 어느 정도이며, 위치나 너비보다 더 중요한가?
• RQ5 조절된 훈련 실험을 통해 초기 층이 네트워크 표현력에 미치는 영향을 정량적으로 측정하고 검증할 수 있는가?

주요 결과

• 전이, 활성화 패턴, 이분법이라는 세 가지 표현력 측정법 모두 네트워크의 깊이에 따라 지수적으로 증가하지만, 너비에 따라 증가하지는 않는다.
• 경로 길이는 깊이에 따라 지수적으로 증가하며, 관찰된 표현력 척도의 지수적 증가를 이끄는 근본적인 메커니즘이다.
• 큰 가중치 분산($\sigma_w^2 = 16$)으로 초기화한 경우, 훈련은 경로 길이와 전이 수를 감소시켜 안정성을 높이지만 표현력을 감소시킨다.
• 작은 가중치 분산($\sigma_w^2 = 3$)으로 초기화한 경우, 훈련은 경로 길이와 전이 수를 증가시켜 데이터 피팅 능력을 향상시킨다.
• 첫 번째 층은 훈련 중 경로 길이를 증가시키는 경향이 있어 주로 데이터 피팅에 사용되며, 더 깊은 층들은 맵을 안정화시키는 데 기여한다.
• MNIST와 CIFAR-10에서의 실험 결과, 한 층의 표현력은 그 이후의 잔여 깊이에 의해 결정되며, 더 앞서는 층일수록 더 큰 영향을 미친다.