[논문 리뷰] Provable Benefit of Orthogonal Initialization in Optimizing Deep Linear Networks

Wei Hu, Lechao Xiao외 1명|arXiv (Cornell University)|2020. 01. 16.

Speech Recognition and Synthesis참고 문헌 27인용 수 34

한 줄 요약

본 논문은 직교 초기화가 심층 선형 네트워크에서 그래디언트 하강법의 수렴 속도를 가속시키며, 너비 요구가 깊이에 독립적임을 보이고, 가우시안 초기화의 경우 너비가 깊이에 선형적으로 증가해야 한다는 점과 대조적임을 증명한다.

ABSTRACT

The selection of initial parameter values for gradient-based optimization of deep neural networks is one of the most impactful hyperparameter choices in deep learning systems, affecting both convergence times and model performance. Yet despite significant empirical and theoretical analysis, relatively little has been proved about the concrete effects of different initialization schemes. In this work, we analyze the effect of initialization in deep linear networks, and provide for the first time a rigorous proof that drawing the initial weights from the orthogonal group speeds up convergence relative to the standard Gaussian initialization with iid weights. We show that for deep networks, the width needed for efficient convergence to a global minimum with orthogonal initializations is independent of the depth, whereas the width needed for efficient convergence with Gaussian initializations scales linearly in the depth. Our results demonstrate how the benefits of a good initialization can persist throughout learning, suggesting an explanation for the recent empirical successes found by initializing very deep non-linear networks according to the principle of dynamical isometry.

연구 동기 및 목표

• 깊은 선형 네트워크에서 초기화가 그래디언트 하강법의 수렴 속도에 미치는 영향을 평가한다.
• 직교 초기화와 가우시안 초기화 간의 엄밀한 비교를 제공한다.
• 다양한 초기화 하에서 효율적 수렴을 위한 깊이-너비의 트레이드오프를 보여준다.
• 깊은 선형 영역의 훈련에도 다이나믹 아이소메트리의 이점이 확장된다는 것을 보여준다.

제안 방법

• 가중치 행렬 W1,...,WL인 L-층 선형 네트워크에 대한 그래디언트 하강법을 분석한다.
• 입력 노름을 기대값에서 보존하기 위해 너비 m의 직교 초기화와 스케일링 α를 사용한다.
• 네트워크 출력 U(t)의 업데이트를 지배하는 시간에 따라 진화하는 PSD 행렬 P(t)를 도출한다.
• P(t)의 고윳값에 대한 경계와 수렴을 보장하기 위한 고차항 E(t)를 제어한다.
• 가우시안 초기화와의 비교에서, 가우시안 초기화 하에 너비가 깊이와 함께 스케일링되지 않으면 깊이에 지수적으로 의한 수렴 장애가 발생함을 보인다.
• 이론적 주장들을 뒷받침하는 합성 데이터에 대한 실험적 증거를 제공한다.

실험 결과

연구 질문

• RQ1 직교 초기화가 가우시안 초기화에 비해 깊은 선형 네트워크에서 그래디언트 하강법의 수렴을 가속시키는가?
• RQ2 직교 초기화하에서 효율적 수렴을 보장하기 위해 은닉층 너비 m은 깊이 L에 대해 어떻게 스케일링되어야 하는가?
• RQ3 직교 초기화하에서 효율적 수렴에 필요한 너비의 깊이에 대한 의존성이 제거되는가?
• RQ4 이론적 결과가 초기화 이후의 훈련 동역학으로 확장되는가?

주요 결과

• 직교 초기화 하에서 깊이 L에 의존하지 않는 너비 m으로도 전역 최소점으로의 효율적 수렴이 나타난다.
• 가우시안 초기화 하에서는 효율적 수렴에 필요한 너비가 깊이 L에 따라 선형으로 스케일링된다.
• 직교 초기화는 훈련 중 아이소메트리 성질을 보존하여 학습 동역학의 고윳값 동작에 유리한 영향을 준다.
• 가우시안 초기화의 경우 깊이에 비해 너비가 너무 작으면 그래디언트 하강법의 수렴 속도가 지수적으로 느려진다.
• 합성 데이터에 대한 경험적 결과는 직교 초기화에 필요한 너비의 깊이 독립성을 뒷받침하고, 가우시안 초기화 하의 깊이 의존성을 확인한다.