[논문 리뷰] Criticality versus uniformity in deep neural networks

Aleksandar Bukva, Jurriaan de Gier외 4명|arXiv (Cornell University)|2023. 04. 10.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 깊은 신경망에서 임계성과 활성화 함수 포화 간의 상호작용을 조사하며, 임계성의 가장자리에서의 초기화가 최적의 학습 가능성을 제공하지만, 과도한 가중치 분산은 tanh 활성화 함수의 포화를 유도하여 성능을 떨어뜨린다는 점을 보여준다. 저자들은 후행 활성화 분포의 엔트로피를 최대화하는 매개변수 공간 상의 '균일성의 선'을 규명하며, 이 선은 임계성의 가장자리와 만날 뿐 아니라, 포화 효과로 인해 학습 효율이 떨어지는 경계를 나타낸다.

ABSTRACT

Deep feedforward networks initialized along the edge of chaos exhibit exponentially superior training ability as quantified by maximum trainable depth. In this work, we explore the effect of saturation of the tanh activation function along the edge of chaos. In particular, we determine the line of uniformity in phase space along which the post-activation distribution has maximum entropy. This line intersects the edge of chaos, and indicates the regime beyond which saturation of the activation function begins to impede training efficiency. Our results suggest that initialization along the edge of chaos is a necessary but not sufficient condition for optimal trainability.

연구 동기 및 목표

• 학습 도중 매개변수의 변화가 일어나는 깊은 네트워크에서 임계성의 가장자리에서의 초기화가 왜 우수한 학습을 가능하게 하는지 이해하기 위해.
• 특히 tanh 함수의 포화가 임계성을 초과할 경우 학습 가능성에 어떤 영향을 미치는지 조사하기 위해.
• 후행 활성화 분포의 엔트로피가 최대가 되는 매개변수 영역, 즉 '균일성의 선'을 정의하여 최적의 학습 경계로 삼기 위해.
• 임계성 자체가 최적의 성능을 보장하는가, 아니면 활성화 역학에 대한 추가적인 제약 조건이 필요하는가를 규명하기 위해.

제안 방법

• 저자들은 tanh 활성화를 갖는 깊은 순환 신경망을 다루며, 가중치 분산 $\sigma_w^2$와 편향 분산 $\sigma_b^2$로 파arameter화된 이중 차원의 위상 공간을 사용한다.
• 후행 활성화 분포의 엔트로피를 최대화함으로써 '균일성의 선'을 유도하며, 이는 은닉 유닛 내 최대 정보량을 갖는 영역을 식별한다.
• 중앙극한정리와 순간 분석을 사용하여 상관 길이와 임계 조건 $\chi = 1$을 계산하며, 이는 임계성의 가장자리를 정의한다.
• 상관 길이의 발산과 임계성과 연결된 $\tilde{\chi} = \frac{2\sigma_w^2}{3\sigma_*^2} \int dz\, p(z;\sigma_*^2)\, z\, \phi(z)^3$ 의 행동을 분석한다.
• MNIST와 CIFAR-10에서의 학습을 통해 결과를 검증하며, 다양한 매개변수 영역에서 정확도와 일반화 능력을 측정한다.
• 분석을 SWISH 활성화 함수로 확장하여, 유사한 임계 행동을 보임을 확인했지만, 높은 편향 분산으로 인해 계산 가능한 범위가 제한됨을 밝혔다.

실험 결과

연구 질문

• RQ1 임계성의 가장자리에서의 초기화만으로 최적의 학습 가능성이 보장되는가, 아니면 추가적인 제약 조건이 필요한가?
• RQ2 임계성을 초과할 경우 활성화 함수의 포화가 학습 효율을 떨어뜨리는 데 어떤 역할을 하는가?
• RQ3 가중치 및 편향 분산 공간 상에서 후행 활성화 분포의 엔트로피가 최대가 되는 '균일성의 선'을 정의할 수 있는가?
• RQ4 SWISH와 같이 포화가 일어나지 않는 활성화 함수의 경우, 임계성의 가장자리는 어떻게 변화하는가?
• RQ5 임계성은 높은 성능을 보장하는 충분한 조건인가, 아니면 극단적인 매개변수 설정 하에서는 붕괴되는가?

주요 결과

• 임계성의 가장자리에서의 초기화만으로는 최적의 학습 가능성이 보장되지 않으며, 과도한 가중치 분산으로 인한 활성화 포화로 인해 성능이 저하된다.
• 후행 활성화 분포의 엔트로피가 최대가 되는 균일성의 선은 임계성의 가장자리와 만날 뿐 아니라, 이 선을 초과하면 학습 효율이 떨어지는 경계를 나타낸다.
• $(\sigma_w^2, \sigma_b^2) = (1, 0)$ 지점에서 임계성의 가장자리는 기울기가 0이 되며, 이는 위상 전이에서 도함수가 0인 임계점임을 나타낸다.
• tanh 활성화 함수의 경우, $\sigma_w^2$와 $\sigma_b^2$가 클수록 후행 활성화가 $\pm1$에 집중되어 정보량이 감소한다.
• SWISH의 경우, 임계성의 가장자리가 존재하지만 계산 가능한 범위가 $\sigma_w^2 \in [1.97, 3.4]$로 제한되며, 이 범위 내에서 성능 저하가 관찰되지 않았다.
• 연구는 깊이 $L \sim 270$ 에서도 임계성에서 초기화된 네트워크가 높은 정확도를 유지함을 확인했지만, 결국 포화 효과로 인해 성능이 저하됨을 밝혔다.