[논문 리뷰] Transformed $\ell_1$ Regularization for Learning Sparse Deep Neural Networks

Rongrong Ma, Jianyu Miao외 2명|arXiv (Cornell University)|2019. 01. 04.

Sparse and Compressive Sensing Techniques참고 문헌 50인용 수 8

한 줄 요약

이 논문은 그룹 스파arsity와 비볼록 전환 ℓ₁ 노름을 조합하여 깊이 신경망의 연결과 뉴런 양쪽에서 동시에 스파arsity를 유도하는 통합된 변환된 ℓ₁ 정규화 방법을 제안한다. 이 방법은 ℓ₁, SGL, CGES보다 더 높은 테스트 정확도와 더 큰 스파arsity(76.88% 연결 스파arsity)를 달성하면서도 더 빠른 수렴 속도를 보이며, 중복이 줄어든 날카운 필터를 생성한다.

ABSTRACT

Deep neural networks (DNNs) have achieved extraordinary success in numerous areas. However, to attain this success, DNNs often carry a large number of weight parameters, leading to heavy costs of memory and computation resources. Overfitting is also likely to happen in such network when the training data are insufficient. These shortcomings severely hinder the application of DNNs in resource-constrained platforms. In fact, many network weights are known to be redundant and can be removed from the network without much loss of performance. To this end, we introduce a new non-convex integrated transformed $\ell_1$ regularizer to promote sparsity for DNNs, which removes both redundant connections and unnecessary neurons simultaneously. To be specific, we apply the transformed $\ell_1$ to the matrix space of network weights and utilize it to remove redundant connections. Besides, group sparsity is also employed as an auxiliary to remove unnecessary neurons. An efficient stochastic proximal gradient algorithm is presented to solve the new model at the same time. To the best of our knowledge, this is the first work to utilize a non-convex regularizer in sparse optimization based method to promote sparsity for DNNs. Experiments on several public datasets demonstrate the effectiveness of the proposed method.

연구 동기 및 목표

• 큰 파라미터 수로 인해 메모리와 계산 비용이 높은 딥 네ural 네트워크(DNNs)의 문제를 해결하기 위해.
• 수동적인 프루닝 기준이나 훈련 시간 전용 드롭아웃 등의 기존 스파arsity 방법의 한계를 극복하기 위해, 엔드 투 엔드로 가능한 미분 가능한 스파arsity 유도를 가능하게 하기 위해.
• 연결 수준과 뉴런 수준 양쪽의 스파arsity를 동시에 촉진하는 통합된 정규화 프레임워크를 개발하기 위해.
• 비볼록 정규화(특히 전환 ℓ₁)를 활용하여 볼록 ℓ₁보다 더 스파스하고 편향이 적은 모델을 달성하면서도 훈련 안정성을 유지하기 위해.

제안 방법

• 그룹 스파arsity와 전환 ℓ₁ 노름을 조합한 통합 정규화자를 제안하여 뉴런 및 연결 수준 양쪽에서 스파arsity를 유도한다.
• 가중치 행렬 공간에 전환 ℓ₁ 노름을 적용하여 연결 간의 스파arsity를 촉진하며, 비볼록성 정도를 조절하는 파라미터 a를 사용한다.
• 구조적 정보를 활용하여 전체적으로 불필요한 뉴런을 식별하고 제거하기 위해 그룹 스파arsity를 사용한다.
• 새로운 정규화자를 가진 비볼록 최적화 문제를 해결하기 위한 효율적인 확률적 프락시멀 그래디언트 알고리즘을 개발한다.
• 이중 단계 스파arsity 메커니즘을 적용: 그룹 스파arsity로 뉴런을 제거하고, 전환 ℓ₁로 불필요한 연결을 제거한다.
• 전환 ℓ₁의 파라미터 a를 조정하여 ℓ₀ 유사 스파arsity(작은 a)와 ℓ₁ 유사 행동(큰 a) 사이의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 비볼록 정규화자인 전환 ℓ₁이 딥 네럴 네트워크의 스파arsity를 유도하는 데 있어 볼록 ℓ₁보다 뛰어나게 작용할 수 있는가?
• RQ2 그룹 스파arsity와 전환 ℓ₁을 함께 정규화함으로써 개별 방법보다 더 효과적으로 불필요한 뉴런과 연결을 동시에 제거할 수 있는가?
• RQ3 같은 스파arsity 수준에서 제안된 방법이 ℓ₁, SGL, CGES보다 더 높은 테스트 정확도와 더 빠른 수렴 속도를 달성하는가?
• RQ4 전환 ℓ₁의 파라미터 a의 선택이 모델 정확도, FLOPs, 파라미터 수에 어떤 영향을 미치는가?

주요 결과

• 제안된 통합 Tℓ₁ 정규화자는 연결 스파arsity가 76.88%에 달하여, 그룹 스파arsity(51.60%)와 Tℓ₁ 단독 사용(뉴턴 제거 없음)보다 뚜렷이 뛰어난 성능을 보였다.
• a=10⁻²일 때, 이 방법은 가장 빠른 수렴 속도를 보였고, 1000회 반복 시 거의 0.95의 테스트 정확도를 달성하여, ℓ₁, SGL, CGES가 같은 조건에서 0.85 이하의 정확도를 기록한 것과 비교해 뛰어났다.
• a=10⁻³일 때는 가장 높은 테스트 정확도(0.95)를 달성했고, a=10⁻¹일 땐 가장 낮은 파라미터 수를 기록하여 정확도와 모델 크기 사이의 상충 관계를 보였다.
• 시각화 결과, 통합 Tℓ₁은 ℓ₁이나 SGL가 남긴 것과 달리, 더 날카운 필터와 더 적은 중복된 공간적 특징을 생성했다.
• 이 방법은 12개의 뉴런과 76.88%의 연결을 성공적으로 제거하여, 구조적 수준과 연결 수준 양쪽에서 효과적인 동시 스파arsity를 실현했다.
• FLOP와 파라미터 사용량은 다양한 a 값(0.2–0.3)에서도 안정적으로 유지되어 일관된 효율성을 보였다.