[논문 리뷰] Failures of Gradient-Based Deep Learning

Shai Shalev‐Shwartz, Ohad Shamir외 1명|arXiv (Cornell University)|2017. 03. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 23인용 수 70

한 줄 요약

이 논문은 그래디언트 기반 학습이 어려움을 겪거나 실패하는 네 가지 간단한 문제 유형을 식별하고, 원인으로 신호 대 잡음비, 조건화, 엔드투엔드 대 분해, 평면 활성화 등을 분석하며, 아키텍처 변경 및 비그래디언트 업데이트와 같은 해결책을 제시한다.

ABSTRACT

In recent years, Deep Learning has become the go-to solution for a broad range of applications, often outperforming state-of-the-art. However, it is important, for both theoreticians and practitioners, to gain a deeper understanding of the difficulties and limitations associated with common approaches and algorithms. We describe four types of simple problems, for which the gradient-based algorithms commonly used in deep learning either fail or suffer from significant difficulties. We illustrate the failures through practical experiments, and provide theoretical insights explaining their source, and how they might be remedied.

연구 동기 및 목표

• 아키텍처와 무관하게 단순 학습 문제에서 왜 그래디언트 기반 방법이 실패할 수 있는지 설명한다.
• 신호 대 잡음비와 조건화 등을 포함하여 그래디언트 정보성 문제의 원인을 특징짓는다.
• 엔드-투-엔드와 분해 접근법을 비교하고 그래디언트 정보성 및 학습 시간에 미치는 영향을 분석한다.
• 단순한 과제에서 아키텍처와 조건화가 최적화 효율성에 어떤 영향을 미치는지 보여준다.

제안 방법

• 패리티와 선형-주기 함수들을 연구하여 차원에서 그래디언트 분산이 지수적으로 작게 나타날 수 있음을 보인다.
• 제어된 CNN 기반 시각 과제에서 엔드투엔드 대 분해 접근법을 분석하고 성능 차이를 도출한다.
• 네트워크 아키텍처(fully connected 대 convolutional)가 조건화와 학습 속도를 어떻게 변화시키는지 평가한다.
• 평평한 활성화로 인한 그래디언트 소실을 조사하고 비그래디언트 기반 또는 조건부 업데이트를 제안한다.
• 이론적 상한(Var(H,F,w))과 실증적 SNR 분석을 제공하여 실패 모드를 설명한다.
• 선형/볼록 설정에서 수렴을 개선하기 위한 조건화 기법을 제시하고 PWL 커브 인코딩으로 이를 보여준다.

실험 결과

연구 질문

• RQ1 랜덤 패리티 및 선형-주기 함수와 같은 특정 대상 함수 계열에 대해 그래디언트 정보가 정보성이 없을 수 있는가?
• RQ2 엔드투엔드 학습이 그래디언트 품질과 학습 효율성 측면에서 분해 접근법과 어떻게 비교되는가?
• RQ3 단순 문제에서 네트워크 아키텍처와 조건화가 최적화 속도와 성공에 어느 정도 영향을 미치는가?
• RQ4 평평한 활성화가 존재하는 상황에서 비그래디언트 기반 업데이트가 일반적인 경사하강법의 한계를 극복할 수 있는가?
• RQ5 실제에서 어떤 해결책(아키텍처, 조건화, 분해)이 그래디언트 기반 실패를 완화하는가?

주요 결과

• 그래디언트 정보가 거의 정보성이 없을 수 있어 아키텍처에 관계없이 그래디언트 기반 학습이 실패할 수 있다.
• 엔드투엔드 학습은 문제 크기가 커질수록 분해 접근법에 비해 현저히 느려지거나 실패할 수 있다, 중간 목표로 학습을 안내하는 방법.
• 합성곱 아키텍처와 조건화 기법이 조각-선형 함수를 인코딩하는 데 최적화 속도를 크게 향상시키고 필요한 반복 횟수를 줄인다.
• 일부 단순한 문제에서 순전히 더 깊거나 더 넓은 네트워크가 그래디언트 정보 문제를 반드시 극복하진 않는다.
• 평평한 영역을 가진 활성화 함수는 그래디언트를 소실시키지만, 대안 업데이트 규칙은 특정 함수 계열에 대해 수렴을 보장하며 수렴을 달성할 수 있다.
• 이론적 상한은 패리티 유사 타깃의 경우 차원에서 그래디언트 분산이 지수적으로 작아질 수 있음을 보여 주어 학습 실패를 설명한다.