[논문 리뷰] Over Parameterized Two-level Neural Networks Can Learn Near Optimal Feature Representations

Cong Fang, Hanze Dong외 1명|arXiv (Cornell University)|2019. 10. 25.

Advanced Neural Network Applications참고 문헌 42인용 수 11

한 줄 요약

이 논문은 과도하게 파rameter화된 두 레이어 신경망이 near-optimal 특징 표현을 학습하는 이유를 설명하기 위해 '신경 특징 재분포'라는 새로운 이론적 프레임워크를 제안한다. 무한한 넓이 근사에서 분석함으로써, 확률적 경사하강법이 잘 정의된 거의 최적의 특징 분포로 수렴함을 보이며, 실제 데이터셋에서의 실험적 검증을 통해 이론의 예측이 실제로 관측된 결과와 일치함을 확인한다.

ABSTRACT

Recently, over-parameterized neural networks have been extensively analyzed in the literature. However, the previous studies cannot satisfactorily explain why fully trained neural networks are successful in practice. In this paper, we present a new theoretical framework for analyzing over-parameterized neural networks which we call neural feature repopulation. Our analysis can satisfactorily explain the empirical success of two level neural networks that are trained by standard learning algorithms. Our key theoretical result is that in the limit of infinite number of hidden neurons, over-parameterized two-level neural networks trained via the standard (noisy) gradient descent learns a well-defined feature distribution (population), and the limiting feature distribution is nearly optimal for the underlying learning task under certain conditions. Empirical studies confirm that predictions of our theory are consistent with the results observed in real practice.

연구 동기 및 목표

• 비볼록 최적화 문제의 과도한 복잡성에도 불구하고 과도하게 파arameter화된 신경망이 실무에서 성공하는 이유에 대한 이론적 이해의 격차를 메우기 위해.
• 표준 학습 알고리즘을 통해 두 레이어 신경망이 고품질의 near-optimal 특징 표현을 어떻게 학습하는지 설명하기 위해.
• 특징 학습과 선형 분류를 분리하고 정규화를 명시적으로 통합하는 새로운 이론적 프레임워크인 '신경 특징 재분포'를 개발하기 위해.
• 과도하게 파arameter화된 네트워크의 극한 행동이 특징 분포에 대한 볼록 최적화 문제로 대응됨을 보여주기 위해.
• 실제 세계 데이터셋에서의 관측된 학습 동역학과 특징 품질과의 일치를 통해 이론을 실증적으로 검증하기 위해.

제안 방법

• 두 레이어 신경망의 무한한 넓이 근사를 특징 분포에 대한 연속 최적화 문제로 공식화한다.
• 특징 분포의 기대 손실을 모델링하는 인구 수준의 목적 함수를 도입하여 볼록 분석이 가능하도록 한다.
• 노이즈가 있는 경사하강법을 사용하여 특징 분포를 최적화하며, 온건한 조건 하에서 거의 최적의 해로 수렴함을 보여준다.
• 정규화(예: 가중치 감쇠)를 특징 학습 과정에 명시적으로 통합하여 뉴런의 효과적 중요도와 연결한다.
• 특징 재분포 실험을 통해 이론을 실증적으로 검증한다—학습된 분포에서 특징을 샘플링하고, 무작위 또는 균일한 샘플링과 성능을 비교한다.
• t-SNE 및 2차원 투영을 사용하여 학습된 특징을 시각화하여 분류의 분리도 향상됨을 보여준다.

실험 결과

연구 질문

• RQ1 과도하게 파arameter화된 두 레이어 신경망은 표준 학습 중에 특징 표현을 어떻게 학습하는가?
• RQ2 이러한 네트워크가 학습한 특징들이 후속 분류 작업에 유용한 이유는 무엇인가?
• RQ3 넓은 신경망의 학습 동역학은 특징 분포에 대한 극한 볼록 최적화 문제로 설명될 수 있는가?
• RQ4 정규화는 효과적 특징 분포와 뉴런 중요도를 어떻게 형성하는가?
• RQ5 특징 재분포에 대한 이론적 예측이 실제 학습에서 관측된 결과와 어느 정도 일치하는가?

주요 결과

• 무한한 넓이 근사에서, (노이즈가 있는) 경사하강법으로 학습된 과도하게 파arameter화된 두 레이어 신경망은 잘 정의된 거의 최적의 특징 분포로 수렴한다.
• 이론적 분석에 따르면 특징 학습이 무한한 넓이 영역에서 볼록화되어 엄밀한 수렴 보장을 가능하게 한다.
• 실증 결과는 학습된 분포에서 샘플링한 특징(특징 재분포)이 무작위 또는 균일한 샘플링보다 학습 손실과 테스트 오차 측면에서 뛰어난 성능을 보임을 확인한다.
• 학습된 크기(예: ||u/m'||)에 기반한 중요도 샘플링은 특히 강한 정규화 조건에서 균일한 샘플링보다 훨씬 뛰어난 성능을 보인다.
• 학습된 가중치 분포를 사용한 특징 초기화는 표준 가우시안 초기화보다 수렴 속도가 빠르고 일반화 성능이 더 좋다.
• 1층 특징의 t-SNE 및 2차원 시각화 결과는 학습된 특징이 무작위 또는 최적화된 특징만으로는 달성할 수 없는 더 나은 분류 분리도를 제공함을 보여준다.