[논문 리뷰] Sparse Deep Learning: A New Framework Immune to Local Traps and Miscalibration

Yan Sun, Wenjun Xiong외 1명|arXiv (Cornell University)|2021. 10. 01.

Statistical Methods and Inference참고 문헌 33인용 수 5

한 줄 요약

이 논문은 이론적으로 전역 최적해로 수렴함이 보장되는 사전 안내 알고리즘을 사용하는 새로운 희소 딥러닝 프레임워크를 제안한다. 이는 국소 최소값 함정을 제거하고 타당한 불확실성 정량화를 가능하게 하며, 예측의 渐近 정규성을 보장함으로써 신뢰구간을 신뢰할 수 있게 하고 정확도를 희생시키지 않은 채 모델 校정을 향상시킨다.

ABSTRACT

Deep learning has powered recent successes of artificial intelligence (AI). However, the deep neural network, as the basic model of deep learning, has suffered from issues such as local traps and miscalibration. In this paper, we provide a new framework for sparse deep learning, which has the above issues addressed in a coherent way. In particular, we lay down a theoretical foundation for sparse deep learning and propose prior annealing algorithms for learning sparse neural networks. The former has successfully tamed the sparse deep neural network into the framework of statistical modeling, enabling prediction uncertainty correctly quantified. The latter can be asymptotically guaranteed to converge to the global optimum, enabling the validity of the down-stream statistical inference. Numerical result indicates the superiority of the proposed method compared to the existing ones.

연구 동기 및 목표

• 과도하게 파rameter화된 네트워크가 열악한 국소 최소값에 갇히거나 校정이 어긋나는 딥러닝의 학습-예측 딜레마를 해결한다.
• 예측의 후행 일致성, 변수 선택, 渐近 정규성을 지원하는 희소 딥 네트워크의 이론적 기반을 구축한다.
• 예측이 渐近적으로 정규분포를 이룬다는 점을 보장함으로써 신뢰할 수 있는 불확실성 정량화를 가능하게 한다.
• 비볼록성 문제를 극복하고 전역 최적해로 증명 가능하게 수렴하는 알고리즘을 제안한다.

제안 방법

• 초기에는 과도하게 파arameter화된 DNN을 사용하고 점차 네트워크 구조를 희소화하는 사전 안내 프레임워크를 도입한다.
• 효율적인 후행 계산을 가능하게 하면서도 이론적 취급이 용이하도록 혼합 정규분포 사전을 사용한다.
• 빈도주의와 베이지안 방식의 두 가지 안내 알고리즘을 개발하여 국소 최소값을 피하고 전역 최적해로 수렴하도록 설계한다.
• 渐近 정규성과 후행 일치성에 대한 이론적 결과를 활용하여 예측의 불확실성 정량화를 정당화한다.
• 구조적 프루닝과 베이지안 추론에 이 프레임워크를 적용하여 타당한 커버리지가 보장되는 후행 통계적 추론을 가능하게 한다.
• 이론적으로는 스파이크-앤틀슬 프리오르를, 실무에서는 혼합 정규분포를 사용하여 모델의 유연성과 계산 가능성의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 이론적 수렴 보장을 갖춘 체계적인 학습 프레임워크를 통해 희소 딥러닝이 국소 최소값에 강건해질 수 있는가?
• RQ2 제안된 방법이 예측의 渐近 정규성을 보장하여 타당한 불확실성 정량화를 가능하게 하는가?
• RQ3 실제 데이터와 네트워크 조건 하에서 희소 DNN이 후행 일치성과 변수 선택 일치성을 달성할 수 있는가?
• RQ4 기존의 프루닝 및 베이지안 신경망 방법에 비해 사전 안내 접근법은 校정성과 정확도 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 사전 안내 알고리즘은 渐近적으로 전역 최적해로 수렴함이 보장되어 희소 DNN 학습에서 국소 최소값 함정 문제를 해결한다.
• 희소 DNN의 예측은 渐近적으로 정규분포를 이룬다. 이는 신뢰구간을 통한 정확한 불확실성 정량화를 가능하게 한다.
• CIFAR-10에서 이 방법은 ResNet-20 기준 BNN_BIC(92.30%)와 유사한 테스트 정확도를 달성했으며, 단 한 번의 실행으로도 성능을 내었고, BNN_BIC는 10회의 실행이 필요했다.
• 모델 校정 성능 측면에서 DPF를 능가했다: NLL는 0.2441(본 방법) 대비 0.2874(DPF), JS-거리(6.44 대비 7.73), ECE는 0.0233 대비 0.0391로 모두 본 방법이 유리했다.
• 희소화가 校정을 향상시킨다. ECE와 JS-거리 측면에서 희소 네트워크가 밀도 네트워크를 능가하여, 프루닝이 신뢰성을 높임을 시사한다.
• 이론적 프레임워크는 후행 일치성과 변수 선택 일치성을 확립하여, 통계적 추론에 희소 DNN을 사용하는 것이 타당함을 입증한다.