[논문 리뷰] Hierarchical Block Sparse Neural Networks

Dharma Teja Vooturi, Dheevatsa Mudigere외 1명|arXiv (Cornell University)|2018. 08. 10.

Advanced Neural Network Applications참고 문헌 9인용 수 14

한 줄 요약

이 논문은 계층적 블록 희소성 구조를 통합한 계층적 블록 희소 신경망(HBsNN)을 소개한다. 이는 모델 정확도와 계산 성능 간의 균형을 이루기 위해 다수의 블록 희소성 수준을 조합하는 구조적 희소성 접근법이다. 더 미세한 블록은 고크기 가중치를 유지하고 더 거친 블록은 하드웨어 효율성을 향상시키는 유연한 다수준 구조적 프루닝을 가능하게 하여, 고도로 구조화된 희소성보다 더 높은 정확도와 비구조적 희소성보다 더 뛰어난 성능을 달성한다. 50% 희소성에서 상위-1 정확도는 75.63%이며, 누적 희소성은 87.5%이다.

ABSTRACT

Sparse deep neural networks(DNNs) are efficient in both memory and compute when compared to dense DNNs. But due to irregularity in computation of sparse DNNs, their efficiencies are much lower than that of dense DNNs on regular parallel hardware such as TPU. This inefficiency leads to poor/no performance benefits for sparse DNNs. Performance issue for sparse DNNs can be alleviated by bringing structure to the sparsity and leveraging it for improving runtime efficiency. But such structural constraints often lead to suboptimal accuracies. In this work, we jointly address both accuracy and performance of sparse DNNs using our proposed class of sparse neural networks called HBsNN (Hierarchical Block sparse Neural Networks). For a given sparsity, HBsNN models achieve better runtime performance than unstructured sparse models and better accuracy than highly structured sparse models.

연구 동기 및 목표

• 희소 딥 뉴럴 네트워크(DNN)에서 모델 정확도와 런타임 성능 간의 상충 관계를 해결한다.
• 비구조적 희소성(낮은 하드웨어 성능)과 고도로 구조화된 희소성(낮은 정확도)의 한계를 극복한다.
• 높은 크기의 파라미터를 유지하면서도 일반 하드웨어에서 효율적인 계산을 가능하게 하는 희소성 프레임워크를 설계한다.
• 정확도와 효율성을 향상시키기 위해 유연하고 유동적인 다수준 계층적 수준에서의 구조적 희소성을 가능하게 한다.

제안 방법

• 다양한 블록 크기(예: 32x1, 16x1, 8x1, 4x1, 1x1)를 가진 레이어 전반에 걸쳐 다수의 블록 희소성 수준을 적용하는 계층적 희소성 프레임워크인 HBsNN을 제안한다.
• 더 거친 블록(예: 32x1)은 계산 효율성을 향상시키고, 더 미세한 블록(예: 1x1)은 정확도를 위해 고크기 가중치를 유지하는 다수준 프루닝 전략을 사용한다.
• 누적 희소성을 50%로 설정하고, 계층 간에 희소성 비율을 분배함으로써 구조의 흐름을 유지하는 계층적 희소성 분포를 적용한다(예: L1에서 75%, L2에서 93.75% 등).
• 하나의 블록 희소성 수준과 하나의 비구조적 희소성 수준(1x1)을 조합한 준-블록 희소 구성으로 성능과 정확도의 균형을 이룬다.
• 표준 프루닝 및 미세조정 파이프라인을 사용: 크기 기반 프루닝을 통해 50%의 파라미터를 제거한 후, 학습률 감소를 적용해 18 에포크 동안 미세조정한다.
• 계산 비용 감소를 추정하기 위한 성능 모델을 설계: $ \text{SpeedUp} = \frac{C_{\text{dense}}}{C_{\text{sparse}}} $, 여기서 $ C $ 는 계산 비용을 나타낸다.

실험 결과

연구 질문

• RQ1 계층적 블록 희소성은 고도로 구조화된 희소성보다 정확도를 향상시키면서도 성능 이점을 유지할 수 있는가?
• RQ2 다양한 계층적 블록 크기에 걸쳐 희소성을 분배할 경우 모델 정확도와 계산 효율성에 어떤 영향을 미치는가?
• RQ3 고정된 블록 희소성 대비, 다수준에서의 흐름 있는 희소성은 고크기 가중치를 얼마나 잘 유지하는가?
• RQ4 준-블록 구성에서 블록 희소성(성능을 위해)과 비구조적 희소성(정확도를 위해)을 조합하면 단독으로 사용할 경우보다 더 나은 성능을 내는가?
• RQ5 블록 크기와 희소성 분포의 선택은 정확도와 계산 효율성 간의 상충 관계에 어떤 영향을 미치는가?

주요 결과

• HBsNN는 누적 희소성이 87.5%인 50% 희소성에서 상위-1 정확도 75.63%를 기록하며, 유사 조건에서 표준 32x1 블록 희소성(74.52%)과 비구조적 희소성(76.42%)보다 정확도에서 뛰어나다.
• 계층적 희소성 분포(예: L1에서 75%, L2에서 93.75%, L3에서 96.875%)를 적용할 경우, 누적 희소성이 50%일 때 상위-1 정확도는 75.63%로 향상되며, 이는 구조의 흐름이 유리한 영향을 미친다는 것을 보여준다.
• 준-블록 희소 구성(예: 32x1 블록 + 1x1 비구조적)은 50% 희소성에서 상위-1 정확도 75.92%를 기록하며, 성능과 정확도 요소를 조합함으로써 성능 향상을 이룬다.
• 블록 크기가 4x1에서 32x1로 증가함에 따라, 50% 희소성에서 상위-1 정확도는 75.73%에서 74.52%로 감소하며, 더 큰 블록은 더 많은 고크기 가중치를 제거함을 확인한다.
• 더 많은 계층적 수준(예: 5단계)에 걸쳐 희소성을 분배할 경우, 단일 수준의 블록 희소성 대비 정확도가 향상되며, 동일한 누적 희소성에서 상위-1 정확도는 74.52%에서 75.63%로 상승한다.
• 성능 모델은 계산 비용 감소가 희소성 비율에 비례하며, HBsNN의 구조적 설계가 정확도를 희생시키지 않고도 일반 하드웨어에서 상당한 성능 향상을 이룬다는 것을 확인한다.