[논문 리뷰] Learning Neural Network Classifiers with Low Model Complexity

Jayadeva, Himanshu Pant외 6명|arXiv (Cornell University)|2017. 07. 31.

Domain Adaptation and Few-Shot Learning참고 문헌 51인용 수 3

한 줄 요약

이 논문은 모델 복잡도를 제어하기 위해 지배적 VC 차원의 미분 가능한 상한을 최소화하는 새로운 학습 방법인 LCNN 학습 규칙을 제안한다. 이는 빠른 수렴, 향상된 일반화 성능 및 기울기 소멸 현상 감소를 이끈다. 이 방법은 피드포워드, 컨볼루션 및 오토에인코더 네트워크 전반에서 성능을 향상시키며, 다양한 데이터셋에서 기존 정규화 기법들인 드롭아웃과 배치 정규화를 능가한다.

ABSTRACT

Modern neural network architectures for large-scale learning tasks have substantially higher model complexities, which makes understanding, visualizing and training these architectures difficult. Recent contributions to deep learning techniques have focused on architectural modifications to improve parameter efficiency and performance. In this paper, we derive a continuous and differentiable error functional for a neural network that minimizes its empirical error as well as a measure of the model complexity. The latter measure is obtained by deriving a differentiable upper bound on the Vapnik-Chervonenkis (VC) dimension of the classifier layer of a class of deep networks. Using standard backpropagation, we realize a training rule that tries to minimize the error on training samples, while improving generalization by keeping the model complexity low. We demonstrate the effectiveness of our formulation (the Low Complexity Neural Network - LCNN) across several deep learning algorithms, and a variety of large benchmark datasets. We show that hidden layer neurons in the resultant networks learn features that are crisp, and in the case of image datasets, quantitatively sharper. Our proposed approach yields benefits across a wide range of architectures, in comparison to and in conjunction with methods such as Dropout and Batch Normalization, and our results strongly suggest that deep learning techniques can benefit from model complexity control methods such as the LCNN learning rule.

연구 동기 및 목표

• 과도한 파rameter 수를 가진 대규모 딥 신경망에서 흔히 발생하는 과적합 및 일반화 성능 열악함을 해결하기 위해.
• 신경망 분류기용 지배적 VC 차원의 연속적이고 미분 가능한 상한을 개발하기 위해.
• 경험 오차와 구조적 리스크를 균형 잡는 손실 함수를 설계하여, 높은 정확도를 유지하면서 모델 복잡도를 최소화하기 위해.
• LCNN 규칙을 통해 깊은 층에서 더 강한 기울기를 유도하여 기울기 소멸 문제를 완화하기 위해.
• LCNN 접근법이 다양한 아키텍처와 데이터셋에서 일반성과 효능을 갖는지를 입증하기 위해.

제안 방법

• 신경망의 최종 분류기 레이어에 대한 지배적 VC 차원의 연속적이고 미분 가능한 상한을 유도하기 위해.
• 총 리스크를 최소화하기 위해 경험 리스크와 VC 차원 상한을 조합한 복합 손실 함수를 제안하기 위해.
• 백프로파게이션을 사용해 LCNN 손실 함수의 기울기를 계산하여, 가중치 및 편향 갱신을 위한 LCNN 학습 규칙을 도출하기 위해.
• LCNN 손실 항목을 학습 목표의 정규화 성분으로 통합하고, 복잡도 트레이드오프를 제어하는 글로벌 하이퍼파rameter를 사용하기 위해.
• 표준 최적화 기법과 경사 하강법을 사용해 피드포워드 네트워크, CNN, 스퍼스 오토에인코더에 LCNN 규칙을 적용하기 위해.
• 최종 및 이전 레이어의 기울기를 분석하여 기울기 소멸 효과 감소를 실증적으로 검증하기 위해.

실험 결과

연구 질문

• RQ1 신경망 분류기용 지배적 VC 차원의 미분 가능한 상한을 도출할 수 있는가? 이를 통해 모델 복잡도를 제어할 수 있는가?
• RQ2 이 상한을 경험 오차와 함께 최소화할 경우, 더 나은 일반화 성능과 더 빠른 수렴이 달성되는가?
• RQ3 LCNN 규칙은 깊은 신경망에서 기울기 소멸 문제를 어느 정도 감소시키는가?
• RQ4 테스트 정확도와 학습 속도 측면에서 LCNN 접근법은 드롭아웃 및 배치 정규화와 같은 기존 정규화 기법보다 어떻게 비교되는가?
• RQ5 LCNN 방법은 CNN, FNN 및 오토에인코더와 같은 다양한 아키텍처에 효과적으로 적용될 수 있는가?

주요 결과

• LeNet 아키텍처를 사용한 MNIST 데이터셋에서 LCNN를 적용한 결과, 170 에포크 후 테스트 오차가 0.84%로 측정되었으며, LCNN 없이 학습한 경우 0.94%였던 것과 비교해 일반화 성능 향상을 입증하였다.
• 최종 및 이전 레이어에서의 평균 절대 기울기는 LCNN 적용 시 거의 한 계단 높은 것으로 나타나, 기울기 소멸 효과 감소를 시사한다.
• LCNN 방법은 컨볼루션 레이어에서 더 선명하고 고대비의 필터를 생성하여, 더 날카롭고 구분력 있는 특징 표현을 유도함을 시사한다.
• LCNN 규칙은 풀 연결 네트워크, CNN, 스퍼스 오토에인코더를 포함한 다양한 아키텍처에서 일관되게 수렴 속도 향상과 테스트 정확도 향상을 이끌었다.
• 기본 정규화 기법인 드롭아웃과 배치 정규화에 비해 벤치마크 데이터셋에서 테스트 정확도와 학습 효율 측면에서 LCNN 접근법이 뛰어난 성능을 보였다.
• LCNN 방법은 가중치 히스토그램 분석을 통해 파aram터의 중복 감소를 확인함으로써, 더 낮은 VC 차원 상한을 가진 더 희소한 모델을 생성함을 입증하였다.