[논문 리뷰] The empirical size of trained neural networks

Kai Chen, Anthony Gamst외 1명|arXiv (Cornell University)|2016. 11. 29.

Neural Networks and Applications참고 문헌 4인용 수 3

한 줄 요약

이 논문은 훈련된 ReLU 신경망이 파arameter 수가 시사하는 것보다 훨씬 단순하다는 것을 경험적으로 입증한다. 이는 이론적으로 가능한 O(N^K) 대비 O(NK) 수준의 선형 조각을 보이며, 표준 초기화 및 훈련 과정이 최적화 전반에 걸쳐 단순하고 열악한(sparse) 네트워크를 유도함으로써 일반화 성공을 설명하고, 저주파 성분이 고주파 잡음보다 먼저 학습되는 선형 훈련 동역학을 가능하게 한다.

ABSTRACT

ReLU neural networks define piecewise linear functions of their inputs. However, initializing and training a neural network is very different from fitting a linear spline. In this paper, we expand empirically upon previous theoretical work to demonstrate features of trained neural networks. Standard network initialization and training produce networks vastly simpler than a naive parameter count would suggest and can impart odd features to the trained network. However, we also show the forced simplicity is beneficial and, indeed, critical for the wide success of these networks.

연구 동기 및 목표

• 훈련된 ReLU 네트워크가 매개변수 수가 시사하는 것보다 훨씬 적은 선형 조각을 가진다는 이론적 주장의 경험적 검증
• 표준 초기화 및 훈련 절차가 네트워크 단순성과 열악성(degeneracy, 예: 영이 되는 뉴런)을 어떻게 유도하는지 탐구하기
• 훈련 초모수—특히 배치 크기—가 네트워크 품질과 최적화 행동에 미치는 영향 분석하기
• 이 본질적 단순성이 일반화와 효율적 학습에 어떻게 유리한지 탐색하기
• 훈련 동역학이 저주파 성분을 우선적으로 선호함으로써, 복잡한 함수를 거친 특징을 먼저 추론함으로써 효율적 학습이 가능해지는지 증명하기

제안 방법

• Keras에서 Glorot 균일 초기화와 Adadelta 옵티마이저를 사용한 표준 피드포워드 ReLU 네트워크 사용
• 가우시안 노이즈에 대한 출력의 제곱합을 측정하여 가우시안 복잡도의 대체 지표로 네트워크 크기를 측정
• 1회 에포크당 단일 기울기 단계를 사용해 최대 50,000 에포크 동안 훈련하고, 평균 제곱오차와 크기 변화를 시간에 따라 추적
• 배치 크기(잔여 배치 포함)를 다양하게 조절하여 훈련 품질과 수렴에 미치는 영향 평가
• 학습 동역학을 분리하기 위해 알려진 주파수 성분을 가진 합성 데이터에서 훈련
• 노이즈가 있는 데이터와 없는 데이터에서 훈련된 모델 간의 차이를 계산하여 노이즈 피팅 행동 근사

실험 결과

연구 질문

• RQ1 표준 초기화 및 훈련이 이론적 최대치보다 훨씬 낮은 효과적 복잡도를 ReLU 네트워크에 어떻게 줄이는가?
• RQ2 배치 크기와 잔여 배치 그룹이 훈련된 네트워크의 품질과 안정성에 어떤 영향을 미치는가?
• RQ3 노이즈가 있는 데이터에서 훈련된 네트워크가 왜 저주파 성분을 고주파 노이즈보다 먼저 학습하는가? 이는 일반화에 어떤 영향을 미치는가?
• RQ4 관찰된 단순성과 선형 훈련 동역학을 활용해, 특히 노이즈가 많은 환경에서 모델 피팅을 향상시킬 수 있는가?
• RQ5 훈련 과정에서 열악한 뉴런(일치하는 영 함수)이 얼마나 자주 발생하는가? 이는 네트워크 행동에 어떤 영향을 미치는가?

주요 결과

• 3 입력, 20층 네트워크에서, 단 5회의 훈련 스텝 후 최종 은닉층의 30% 뉴런이 정확히 0이 되었으며, 이는 1차원 사례를 초월한 열악성의 확인이다.
• 2500개 이상의 데이터 포인트가 있음에도 불구하고, 3개 입력과 4개 은닉층을 가진 네트워크의 최대 출력 제곱합은 600에 불과하여 완벽한 피팅에 기대하는 2500보다 훨씬 낮아, 단순성에 대한 강력한 인덕티브 바이어스를 시사한다.
• 잔여 그룹을 포함한 배치 처리 방식은 훈련 결과에 중대한 영향을 미쳤으며, 작은 최종 배치 그룹은 불안정성을 유발하고 수렴 패턴을 변화시켰다.
• 초기화된 편향을 가진 고주파 사각파에서 훈련된 네트워크는 국소 최소값에 갇혀, 충분한 용량이 있음에도 불구하고 8000~20,000 에포크 동안 향상되지 않았다.
• 노이즈가 있는 함수(spline + noise)에서 훈련한 결과, 저주파 성분이 먼저 학습되었고, 노이즈 피팅 속도는 노이즈만 있는 데이터에서 훈련했을 때와 동일한 속도로 진행되어 선형 훈련 동역학을 확인했다.
• 노이즈가 있는 데이터와 없는 데이터에서 훈련된 모델 간의 차이가 노이즈를 거의 정확히 근사함을 확인하여, '인위적 부스팅'(사전에 알려진 성분을 추가한 후 훈련) 전략이 실질적으로 노이즈 피팅을 향상시킬 수 있음을 시사했다.