[논문 리뷰] Toward Deeper Understanding of Neural Networks: The Power of Initialization and a Dual View on Expressivity

Amit Daniely, Roy Frostig외 1명|arXiv (Cornell University)|2016. 02. 18.

Adversarial Robustness in Machine Learning인용 수 46

한 줄 요약

이 논문은 신경망과 복합 커널 공간 간의 이원성(duality)을 제안하며, 무작위 가중치 초기화가 이중 커널 공간 내 모든 함수를 근사할 수 있는 표현을 생성함을 보여준다. 핵심 결과는 마지막 레이어만 조정(볼록 최적화를 통해)함으로써 우수한 성능을 달성할 수 있으며, 이는 비볼록 목적함수에도 불구하고 학습이 성공하는 이유를 설명하고, 초기화 및 아키텍처 설계에 대한 원리적인 시각을 제공한다.

ABSTRACT

We develop a general duality between neural networks and compositional kernels, striving towards a better understanding of deep learning. We show that initial representations generated by common random initializations are sufficiently rich to express all functions in the dual kernel space. Hence, though the training objective is hard to optimize in the worst case, the initial weights form a good starting point for optimization. Our dual view also reveals a pragmatic and aesthetic perspective of neural networks and underscores their expressive power.

연구 동기 및 목표

• 비볼록 최적화 과정에도 불구하고 경사 하강법이 깊은 신경망 학습에 성공하는 이유를 이해하기 위해.
• 신경망 아키텍처와 그에 대응하는 복합 커널 공간 간의 이원성을 수학적으로 정식화하기 위해.
• 무작위 가중치 초기화의 경험적 성공성과 최적화의 강력한 시작점으로서의 역할을 설명하기 위해.
• ReLU 활성화 함수와 컨볼루션 구조와 같은 일반적인 아키텍처 선택에 대한 이론적 근거를 제공하기 위해.
• 표준 관행을 개선하기 위해 약간의 수정 요소를 포함한 원리적인 초기화 방법을 도출하기 위해.

제안 방법

• 특정 가중치에 의존하지 않는 피드포워드 네트워크의 구조적 형태를 추상화하기 위해 '계산 스켈레톤'(computation skeleton) 개념을 도입한다.
• 각 비선형성에 대해 이중 활성화 함수를 정의하여, 이에 대응하는 복합 커널 공간을 구성할 수 있도록 한다.
• 무작위 가중치로 생성된 초기 표현이 이중 커널 공간에 밀도를 이루며, 그 공간 내 모든 함수를 근사할 수 있음을 입증한다.
• 마지막 레이어의 가중치만 최적화하는 것이 아키텍처 선택에 대한 볼록한 대체 문제임을 보이며, 이는 이중 공간 내 임의의 함수를 근사할 수 있음을 시사한다.
• 활성화 함수의 수학적 분석(예: ReLU)을 통해 양의 동차성에 기인한 초기화 분산에 대한 강건성을 보여준다.
• 스케일링 하에 초기 표현의 분포를 유지하는 수정된 초기화 방법을 유도한다. 이는 깊은 네트워크에서의 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 비볼록성에도 불구하고 무작위 가중치 초기화가 깊은 신경망에서 효과적인 최적화를 이끌어내는 이유는 무엇인가?
• RQ2 신경망의 표현 능력은 아키텍처와 활성화 함수와 어떻게 공식적으로 연결될 수 있는가?
• RQ3 모든 신경망 아키텍처에 대해 이중 커널 공간을 구성할 수 있으며, 이는 네트워크의 함수 공간에 대해 무엇을 드러내는가?
• RQ4 왜 ReLU 활성화 함수는 실무에서 특히 효과적인가? 어떤 구조적 특성이 초기화 변화에 대해 강건한가?
• RQ5 마지막 레이어 조정 과정은 전체 학습 이전에 서로 다른 네트워크 아키텍처를 비교하기 위한 볼록한 대체 문제로 작용할 수 있는가?

주요 결과

• 무작위 가중치 초기화는 주어진 네트워크 아키텍처와 관련된 이중 커널 공간 내 모든 함수를 근사할 수 있을 만큼 충분히 풍부한 표현을 생성한다.
• 마지막 레이어의 가중치만 조정하는 것은 이중 커널 공간 내 모든 함수를 근사할 수 있는 볼록 최적화 문제이며, 이는 학습 알고리즘의 성공을 설명한다.
• ReLU 활성화 함수는 양의 동차성 덕분에 초기화 분산에 강건하며, 스케일링 하에 표현의 분포를 유지한다.
• ReLU 활성화를 가진 완전 연결 네트워크에서, 초기화 스케일이 약간 변화하더라도 이중 커널을 잘 근사한다.
• 깊이가 증가함에 따라, 완전 연결된 깊은 네트워크의 이중 커널은 사용된 비선형 활성화 함수에 관계없이 열악한 형태로 수렴한다.
• 일부 활성화 함수를 가진 두 개의 연속된 완전 연결 레이어는 이중 활성화를 조합한 단일 레이어로 대체할 수 있으며, 이로 인해 이중 커널 공간은 그대로 유지된다.