[논문 리뷰] Ising-Dropout: A Regularization Method for Training and Compression of Deep Neural Networks

Hojjat Salehinejad, Shahrokh Valaee|arXiv (Cornell University)|2019. 02. 07.

Machine Learning and Data Classification참고 문헌 10인용 수 4

한 줄 요약

이 논문은 딥 뉴럴 네트워크 학습 중에 가시층과 은닉층 뉴런을 적응적으로 드롭아웃하는 데에 이징 모델의 에너지 최소화를 활용하는 정규화 및 모델 압축 기법인 Ising-Dropout을 제안한다. 뉴런 활성화를 이징 가중치로 매핑하고 퓨지츠 디지털 앤날러를 통해 최적화함으로써, Fashion-MNIST에서 파라미터 최적화를 최대 55.86% 감소시키면서도 경쟁 가능한 분류 정확도를 유지한다.

ABSTRACT

Overfitting is a major problem in training machine learning models, specifically deep neural networks. This problem may be caused by imbalanced datasets and initialization of the model parameters, which conforms the model too closely to the training data and negatively affects the generalization performance of the model for unseen data. The original dropout is a regularization technique to drop hidden units randomly during training. In this paper, we propose an adaptive technique to wisely drop the visible and hidden units in a deep neural network using Ising energy of the network. The preliminary results show that the proposed approach can keep the classification performance competitive to the original network while eliminating optimization of unnecessary network parameters in each training cycle. The dropout state of units can also be applied to the trained (inference) model. This technique could compress the network in terms of number of parameters up to 41.18% and 55.86% for the classification task on the MNIST and Fashion-MNIST datasets, respectively.

연구 동기 및 목표

• 불균형하거나 제한된 데이터셋으로 훈련되는 딥 네트워크에서 과적합 문제를 해결하기 위해.
• 학습 중 최적화하는 파라미터 수를 줄여 수렴 속도를 가속화하고 일반화 성능을 향상시키기 위해.
• 추론 단계에서 가장 관련성 있고 잘 훈련된 파라미터만 유지함으로써 모델 압축을 가능하게 하기 위해.
• 조합 최적화(이징 모델을 통한)를 활용해 DNN에서 비랜덤, 적응형 드롭아웃을 탐색하기 위해.
• MNIST 및 Fashion-MNIST에서 깊이 있는 다층퍼셉트론의 모델 압축과 분류 정확도 간의 트레이드오프를 평가하기 위해.

제안 방법

• 딥 MLP의 각 뉴런 활성화를 스핀 거친 모델의 비용(이징 가중치)으로 매핑한다.
• 이징 에너지를 최소화하고 최적의 드롭아웃 상태를 결정하기 위해 MCMC를 통해 조합 최적화 문제를 해결하는 데 특화된 퓨지츠 디지털 앤날러를 사용한다.
• 이징 최적화기에서 유도된 이진 마스크(상태 벡터)를 생성하여 훈련 및 추론 중에 드롭아웃할 뉴런을 식별한다.
• 백프로파게이션 및 추론 중에 네트워크의 가중치 텐서에 마스크를 적용함으로써 동적 파라미터 프루닝을 가능하게 한다.
• 모든 에포크마다 마스크를 재최적화하는 방식으로, 미니배치 훈련 주기 내에 Ising-Dropout 과정을 통합한다.
• 훈련 및 추론에 동일한 마스크를 사용함으로써 재학습 없이도 모델 압축을 실현한다.

실험 결과

연구 질문

• RQ1 이징 에너지 최소화가 랜덤 드롭아웃보다 더 효과적이고 적응적인 드롭아웃 전략을 도출할 수 있는가?
• RQ2 Ising-Dropout는 일반화 성능을 유지하거나 향상시키면서 학습 중 최적화하는 파라미터 수를 어느 정도 줄일 수 있는가?
• RQ3 정규 드롭아웃 및 드롭아웃 없음과 비교할 때 Ising-Dropout의 정확도 및 모델 압축 성능는 어떠한가?
• RQ4 Ising-Dropout 마스크를 추론 시 재사용하여 성능 저하 없이 상당한 모델 압축을 달성할 수 있는가?
• RQ5 다양한 네트워크 깊이에서 Ising-Dropout를 적용할 경우, 모델 크기 감소와 분류 정확도 간의 트레이드오프는 어떠한가?

주요 결과

• Ising-Dropout는 MNIST 데이터셋에서 모델 파라미터를 41.18% 감소시켰으며, 경쟁 가능한 분류 정확도를 유지했다.
• 더 복잡한 Fashion-MNIST 데이터셋에서는 모델을 55.86% 압축했고, 전체 네트워크 대비 정확도가 5.84% 감소하는 데 그쳤다.
• 특히 더 깊은 네트워크에서 랜덤 드롭아웃보다 정확도 및 압축 효율성 면에서 뛰어난 성능을 보였다.
• 재학습 없이도 추론 모델을 최대 55.86% 압축했으며, 잘 훈련된 파라미터를 적절히 선택함으로써 성능을 유지했다.
• 심한 파라미터 프루닝에도 불구하고 높은 성능을 유지하여 효과적인 정규화 및 일반화 능력을 입증했다.
• 시각화 결과는 Ising-Dropout가 배경이나 여분의 픽셀을 제거하면서도 핵심 입력 특징(예: 숫자 형태)을 유지함을 보여주었다.