[논문 리뷰] On improving deep learning generalization with adaptive sparse connectivity

Shiwei Liu, Decebal Constantin Mocanu외 1명|TU/e Research Portal|2019. 06. 27.

Evolutionary Algorithms and Applications참고 문헌 20인용 수 6

한 줄 요약

이 논문은 내재적으로 희소한 다층 퍼셉트론(MLP)에 대해 반복적 뉴런 프루닝을 적용함으로써 희소 진화 학습(SET)을 향상시키는 NPSET를 제안한다. 이는 약 50%의 파라미터 감소를 이끌어내며 일반화 성능을 향상시킨다. 이 방법은 선형적 파라미터 스케일링을 유지하며 15개 데이터셋에서 완전히 연결된 네트워크보다 높은 테스트 정확도를 달성한다. 이는 적응형 희소성과 암묵적 정규화를 통해 뛰어난 일반화 성능을 보여준다.

ABSTRACT

Large neural networks are very successful in various tasks. However, with limited data, the generalization capabilities of deep neural networks are also very limited. In this paper, we empirically start showing that intrinsically sparse neural networks with adaptive sparse connectivity, which by design have a strict parameter budget during the training phase, have better generalization capabilities than their fully-connected counterparts. Besides this, we propose a new technique to train these sparse models by combining the Sparse Evolutionary Training (SET) procedure with neurons pruning. Operated on MultiLayer Perceptron (MLP) and tested on 15 datasets, our proposed technique zeros out around 50% of the hidden neurons during training, while having a linear number of parameters to optimize with respect to the number of neurons. The results show a competitive classification and generalization performance.

연구 동기 및 목표

• 학습 데이터가 제한적일 때 딥 네트워크의 일반화 및 과적합 문제를 해결하기 위해.
• 기존 프루닝 방법의 확장성 한계를 극복하기 위해, 사전에 완전히 연결된 네트워크를 학습이 필요로 하는 방법을 해결하기 위해.
• 모델 복잡도를 추가로 줄이기 위해 뉴런 프루닝을 통합함으로써 희소 진화 학습(SET) 절차를 향상시키기 위해.
• 내재적으로 희소한 네트워크가 적응형 연결성을 가지며 완전히 연결된 대안보다 더 나은 일반화 성능을 보이는지 경험적으로 검증하기 위해.
• 동적 연결성 진화에서 유도되는 암묵적 정규화가 명시적 정규화 기법 없이도 일반화 성능 향상에 기여하는지 보여주기 위해.

제안 방법

• 희소 진화 학습(SET)과 반복적 뉴런 프루닝을 결합한 새로운 학습 절차인 NPSET를 도입하여, 비정보성 히든 뉴런을 동적으로 제거한다.
• 매 γ 에포크마다 출력 연결 수가 가장 적은 뉴런에 대해 크기 기반 프루닝을 적용하여 활성 뉴런과 연결 수를 감소시킨다.
• 학습 전반에 걸쳐 희소 초깃입력 구조를 유지하여, 완전히 연결된 네트워크의 제곱형 파라미터 오버헤드를 방지한다.
• 이중 단계 학습 전략을 사용한다: 프루닝을 포함한 초기 학습 후, 성능 안정화를 위해 프루닝 없이 계속 SET 학습을 수행한다.
• 최적 성능를 확보하기 위해 α=0.04(프루닝 임계값), β=10(연결 제거 비율), γ=40(프루닝 빈도)의 하이퍼파라미터 서치를 수행한다.
• 동일한 최종 아키텍처를 가진 SET, 완전히 연결된 MLP, 직접 SET/FC-MLP 베이스라인과의 비교를 통해 공정한 평가를 수행한다.

실험 결과

연구 질문

• RQ1 SET와 결합된 반복적 뉴런 프루닝이 희소 MLP에서 SET만 사용하는 것보다 더 나은 일반화 성능을 달성할 수 있는가?
• RQ2 적응형 연결성을 가진 내재적으로 희소한 MLP를 학습시킬 경우, 소형에서 중형 데이터셋에서 완전히 연결된 네트워크보다 더 나은 일반화 성능를 보일 수 있는가?
• RQ3 연결 제거 및 재추가를 통해 이루어지는 동적 희소 연결성 진화가 암묵적 정규화로 작용하는 정도는 어느 정도인가?
• RQ4 기본 프루닝 및 SET와 비교했을 때, NPSET는 파라미터 효율성과 모델 압축 측면에서 어떻게 성과를 내는가?
• RQ5 NPSET는 모델 크기와 계산 비용을 줄이면서도 완전히 연결된 MLP보다 더 높은 테스트 정확도를 달성할 수 있는가?

주요 결과

• NPSET는 15개 데이터셋 중 8개에서 SET보다 높은 테스트 정확도를 기록했으며, CLL-SUB-111 데이터셋에서 최대 +8.11%의 향상을 보였다.
• Gisette 데이터셋에서 NPSET는 97.64%의 정확도를 달성하여, SET(97.43%)와 완전히 연결된 베이스라인(97.60%)을 모두 앞섰다.
• Yale 데이터셋에서는 완전히 연결된 MLP에서 완전 과적합(100% 학습 정확도)이 발생한 반면, NPSET와 SET는 일반화 갭을 유지하여 더 뛰어난 내구성을 보였다.
• NPSET는 SET 대비 평균 약 50%의 파라미터 감소를 이끌어내며, 6-7배 높은 압축률을 기록했다.
• 학습 곡선 분석 결과, NPSET와 SET는 완전히 연결된 MLP보다 학습 및 테스트 정확도 간 격차가 현저히 작았으며, 이는 더 강한 일반화 성능을 의미한다.
• 드롭아웃, L1/L2 정규화와 같은 명시적 정규화 기법 없이도 경쟁적인 성능를 달성했으며, 이는 구조적 희소성과 동적 연결성 진화가 암묵적 정규화 기능을 수행함을 시사한다.