[논문 리뷰] Trainability and Data-dependent Initialization of Over-parameterized ReLU Neural Networks

Yeonjong Shin, George Em Karniadakis|arXiv (Cornell University)|2019. 07. 23.

Neural Networks and Applications참고 문헌 18인용 수 3

한 줄 요약

이 논문은 과다 파rameter화된 ReLU 신경망에서 학습 가능성(trainability)의 개념을 도입하며, 초기화 시 영구적으로 死한 상태가 아닌 뉴런의 비율로 정의된다. 데이터에 의존하는 초기화 방법을 제안하여 학습 가능성을 향상시키며, 과다 파arameter화가 학습 손실 최소화를 위해 필수적이고 충분함을 보이며, 실험적 검증을 통해 학습 성공률 향상을 입증한다.

ABSTRACT

In this paper, we study the trainability of rectified linear unit (ReLU) networks. A ReLU neuron is said to be dead if it only outputs a constant for any input. Two death states of neurons are introduced; tentative and permanent death. A network is then said to be trainable if the number of permanently dead neurons is sufficiently small for a learning task. We refer to the probability of a network being trainable as trainability. We show that a network being trainable is a necessary condition for successful training and the trainability serves as an upper bound of successful training rates. In order to quantify the trainability, we study the probability distribution of the number of active neurons at the initialization. In many applications, over-specified or over-parameterized neural networks are successfully employed and shown to be trained effectively. With the notion of trainability, we show that over-parameterization is both a necessary and a sufficient condition for minimizing the training loss. Furthermore, we propose a data-dependent initialization method in the over-parameterized setting. Numerical examples are provided to demonstrate the effectiveness of the method and our theoretical findings.

연구 동기 및 목표

• 과다 파arameter화된 ReLU 네트워크에서 성공적인 학습을 위한 필수 조건으로서 학습 가능성을 정의하고 정량화하는 것.
• 과다 파arameter화된 설정에서 초기화 시 활성화된 뉴런의 확률 분포를 분석하는 것.
• 과다 파arameter화가 학습 손실 최소화를 위해 필수적이고 충분한 조건임을 확립하는 것.
• 과다 파arameter화된 네트워크에서 학습 가능성을 향상시키기 위한 데이터에 의존하는 초기화 방법을 개발하는 것.
• 이론적 결과를 수치 실험을 통해 검증하여 학습 성공률 향상을 입증하는 것.

제안 방법

• 초기화 시 비활성 뉴런을 기술하기 위해 일시적 死와 영구적 死의 두 가지 뉴런 사망 상태를 도입하는 것.
• 학습 과제에 대해 충분히 적은 수의 영구적 死 뉴런을 가진 네트워크일 경우의 확률로 학습 가능성을 정의하는 것.
• 과다 파arameter화된 ReLU 네트워크에서 학습 가능성을 정량화하기 위해 초기화 시 활성화된 뉴런의 분포를 분석하는 것.
• 과다 파arameter화된 설정에 맞추어 뉴런 사망을 줄이기 위해 데이터에 의존하는 초기화 체계를 제안하는 것.
• 이론적 분석을 통해 과다 파arameter화가 학습 가능성을 보장하고, 따라서 성공적인 학습을 가능하게 함을 보이는 것.
• 수치 실험을 통해 제안된 초기화 방법과 이론적 주장의 효과성을 검증하는 것.

실험 결과

연구 질문

• RQ1 뉴런 사망 상태 측면에서 어떤 ReLU 네트워크가 학습 가능하다고 정의되는가?
• RQ2 초기화 시 뉴런 활성화 확률이 전체 학습 가능성에 어떤 영향을 미치는가?
• RQ3 과다 파arameter화가 ReLU 네트워크에서 학습 손실 최소화를 위해 필수적이고 충분한가?
• RQ4 데이터에 의존하는 초기화 방법이 과다 파arameter화된 설정에서 학습 가능성을 향상시킬 수 있는가?
• RQ5 학습 가능성과 실제 학습 성공률 사이의 관계는 무엇인가?

주요 결과

• 학습 가능성은 성공적인 학습을 위한 필수 조건이며, 학습 성공률의 상한선으로 작용한다.
• 과다 파arameter화는 ReLU 네트워크에서 학습 손실 최소화를 위해 필수적이고 충분하다.
• 제안된 데이터에 의존하는 초기화 방법은 뉴런 사망을 줄이고 과다 파arameter화된 설정에서 학습 가능성을 향상시킨다.
• 이론적 분석은 과다 파arameter화가 초기화 시 충분한 활성화된 뉴런이 존재할 확률이 높다는 것을 확인한다.
• 수치 결과는 제안된 초기화 방법이 기존 표준 방법 대비 학습 성공률 향상을 보임을 입증한다.
• 본 연구는 초기화 시 뉴런 활성화 분포와 최종 학습 성능 사이의 직접적인 연관성을 확립한다.