[논문 리뷰] Coarsening the Granularity: Towards Structurally Sparse Lottery Tickets

Tianlong Chen, Xuxi Chen외 3명|arXiv (Cornell University)|2022. 02. 09.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 반복적 크기 제거를 통해 발견한 비구조적 승자 네트워크에 후처리 기법(재채우기 및 재그룹화)을 적용하여 하드웨어 우호적인 채널 기반 및 그룹 기반 희소성 구조를 가진 최초의 구조적 희박한 러닝 티켓을 발견하는 방법을 제안한다. 이 방법은 정확도 저하 없이 ImageNet에서 36–80% 희소성에서 최대 64.93%의 추론 속도 향상을 달성하며, 표준 GPU에서 실용적인 가속을 가능하게 한다.

ABSTRACT

The lottery ticket hypothesis (LTH) has shown that dense models contain highly sparse subnetworks (i.e., winning tickets) that can be trained in isolation to match full accuracy. Despite many exciting efforts being made, there is one "commonsense" rarely challenged: a winning ticket is found by iterative magnitude pruning (IMP) and hence the resultant pruned subnetworks have only unstructured sparsity. That gap limits the appeal of winning tickets in practice, since the highly irregular sparse patterns are challenging to accelerate on hardware. Meanwhile, directly substituting structured pruning for unstructured pruning in IMP damages performance more severely and is usually unable to locate winning tickets. In this paper, we demonstrate the first positive result that a structurally sparse winning ticket can be effectively found in general. The core idea is to append "post-processing techniques" after each round of (unstructured) IMP, to enforce the formation of structural sparsity. Specifically, we first "re-fill" pruned elements back in some channels deemed to be important, and then "re-group" non-zero elements to create flexible group-wise structural patterns. Both our identified channel- and group-wise structural subnetworks win the lottery, with substantial inference speedups readily supported by existing hardware. Extensive experiments, conducted on diverse datasets across multiple network backbones, consistently validate our proposal, showing that the hardware acceleration roadblock of LTH is now removed. Specifically, the structural winning tickets obtain up to {64.93%, 64.84%, 60.23%} running time savings at {36%~80%, 74%, 58%} sparsity on {CIFAR, Tiny-ImageNet, ImageNet}, while maintaining comparable accuracy. Code is at https://github.com/VITA-Group/Structure-LTH.

연구 동기 및 목표

• 비구조적 러닝 티켓의 실용적 한계를 해결하기 위해, 불규칙한 희소성 패턴으로 인해 하드웨어에서 효율적이지 않은 문제를 해결하고자 한다.
• 초기화 상태에서 훈련했을 때도 여전히 전체 모델 정확도를 달성할 수 있는 구조적 희소성 하위망이 승자 네트워크로 간주될 수 있는지 조사하고자 한다.
• 성능 저하 없이 비구조적 승자 네트워크를 구조적 희소성으로 전환하는 후처리 프레임워크를 개발하고자 한다.
• 채널 기반 및 그룹 기반의 구조적 패턴을 도입함으로써 표준 GPU 아키텍처를 사용한 러닝 티켓의 하드웨어 가속을 가능하게 하고자 한다.
• 러닝 티켓 가설의 핵심 이점인 높은 희소성과 초기화 상태에서의 훈련 가능성 손실 없이도 구조적 희소성을 달성할 수 있는지 입증하고자 한다.

제안 방법

• 반복적 크기 제거(IMP)를 적용하여 고희소성과 완전한 정확도를 확보한 비구조적 승자 네트워크를 식별한다.
• 핵심 채널에 가장 중요한 가중치를 재채우는 기법을 사용하여 채널 기반의 구조적 희소성을 형성한다.
• 초그래프 분할 기반의 재그룹 알고리즘을 적용하여 비제로 요소를 유연하고 밀집된 블록으로 재조직함으로써 그룹 기반의 구조적 희소성을 구현한다.
• 결과로 도출된 구조적 하위망을 원래의 무작위 초기화 상태에서 재훈련하여 진정한 승자 네트워크임을 검증한다.
• 두 단계 과정을 사용: 먼저 비구조적 제거를 수행하고, 이후 재채우기 및 재그룹화를 통한 후처리로 구조적 패턴을 강제 적용한다.
• 다양한 데이터셋(CIFAR-10, CIFAR-100, Tiny-ImageNet, ImageNet)과 네트워크 아키텍처(VGG-16, ResNet-18)에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 특히 채널 기반 및 그룹 기반의 구조적 패턴을 가진 희박한 하위망은 초기화 상태에서 훈련했을 때 원래의 밀집 모델과 동일한 정확도를 달성할 수 있는가?
• RQ2 IMP 프레임워크 내에서 비구조적 제거를 구조적 제거로 대체할 경우 성능이 크게 손상되어 승자 네트워크를 발견할 수 없게 되는가?
• RQ3 비구조적 IMP 이후 적용된 후처리 기법이 정확도나 속도 향상 잠재력 손실 없이 하위망을 구조적 희소성으로 성공적으로 전환할 수 있는가?
• RQ4 특수 가속기 없이도 표준 GPU 하드웨어에서 구조적 희박한 승자 네트워크를 얼마나 높은 수준으로 가속화할 수 있는가?
• RQ5 다양한 초기 비구조적 마스크(예: IMP, GraSP, SynFlow)가 최종 구조적 하위망의 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 IMP-Regroup 방법은 ImageNet에서 36–80% 희소성 범위에서 최대 64.93%의 GPU 실행 시간 절감을 달성했으며, 정확도 저하 없음.
• 그룹 기반의 구조적 승자 네트워크는 VGG-16의 마지막 몇 층에서 최대 6.67배의 레이어 단위 속도 향상을 기록했으며, 특히 높은 압축 비율에서 유리함.
• IMP-Regroup는 고희소성 수준에서 IMP-Refill(+) 및 IMP를 능가하며, VGG-16/CIFAR-100에서는 60.60%의 속도 향상, ResNet-18/CIFAR-100에서는 55.45%의 속도 향상 달성.
• 재채우기 기법은 핵심 채널을 성공적으로 식별하고 복원하여 중간 희소성 수준에서 약 50%의 실행 시간 절감을 이룬 채널 기반의 구조적 승자 네트워크를 가능하게 함.
• 초그래프 분할 기반의 재그룹 알고리즘은 표준 GPU에서 가속화에 적합한 민첩하고 고압축의 그룹 기반 패턴을 유연하게 생성함.
• IMP와 OMP는 재그룹화에 적합한 최고 품질의 초기 비구조적 마스크를 생성하여 최종 구조적 하위망에서 뛰어난 성능을 발휘함.