[논문 리뷰] SparseNet: A Sparse DenseNet for Image Classification

Wenqi Liu, Kun Zeng|arXiv (Cornell University)|2018. 04. 15.

Advanced Neural Network Applications참고 문헌 1인용 수 26

한 줄 요약

이 논문은 각 레이어당 가장 가까운 및 가장 먼 스킵 연결만 유지함으로써 연결 수를 O(L²)에서 O(L)로 감소시켜 더 깊고 넓은 네트워크를 구현하면서 파라미터 및 계산 효율성을 향상시킨 SparseNet을 제안한다. SparseNet은 CIFAR-10과 SVHN에서 SOTA 성능을 달성하며, DenseNet을 능가하면서도 크기는 2.6배 작고 속도는 3.7배 빠르다.

ABSTRACT

Deep neural networks have made remarkable progresses on various computer vision tasks. Recent works have shown that depth, width and shortcut connections of networks are all vital to their performances. In this paper, we introduce a method to sparsify DenseNet which can reduce connections of a L-layer DenseNet from O(L^2) to O(L), and thus we can simultaneously increase depth, width and connections of neural networks in a more parameter-efficient and computation-efficient way. Moreover, an attention module is introduced to further boost our network's performance. We denote our network as SparseNet. We evaluate SparseNet on datasets of CIFAR(including CIFAR10 and CIFAR100) and SVHN. Experiments show that SparseNet can obtain improvements over the state-of-the-art on CIFAR10 and SVHN. Furthermore, while achieving comparable performances as DenseNet on these datasets, SparseNet is x2.6 smaller and x3.7 faster than the original DenseNet.

연구 동기 및 목표

• DenseNet의 높은 파라미터 및 계산 비용 문제를 해결하기 위해, 깊이에 따라 O(L²)로 증가하는 연결 수로 인해 계산 비용이 제곱적으로 증가하는 문제를 해결한다.
• DenseNet의 중간 스킵 연결을 프루닝함으로써 성능을 유지하거나 향상시키면서 모델 복잡도를 줄일 수 있는지 탐색한다.
• 스퍼스한 연결 구조에서 네트워크의 깊이, 넓이(성장률), 경로 길이(연결 수)가 성능에 미치는 영향을 조사한다.
• 주의 메커니즘(attention mechanism)이 스퍼스한 연결 환경에서 성능 향상에 기여하는지 평가한다.
• DenseNet 및 ResNet, CondenseNet과 같은 최신 SOTA 모델들과 비교해 더 뛰어난 파라미터 및 계산 효율성을 달성한다.

제안 방법

• 각 레이어에 대해 가장 먼 연결과 가장 가까운 연결만 유지함으로써 총 연결 수를 O(L²)에서 O(L)로 감소시킨다.
• 블록 단위의 스퍼스한 연결 패턴을 도입하여 각 레이어가 이전 레이어 중 최대 두 개(가장 가까운 것과 가장 먼 것)에만 연결되도록 하며, 중간 연결은 제거한다.
• 구조적 스퍼스화 전략을 적용한다: 주어진 경로 길이에 대해 가장 먼 연결과 가장 가까운 연결을 유지한다(예: 경로 길이 14일 경우 7-7 전략), 무작위 프루닝을 피한다.
• 학습 가능한 주의 모듈을 도입하여 특징 맵을 동적으로 가중치를 부여함으로써 파라미터 수 증가 없이 표현 학습을 향상시킨다.
• 깊이(28, 52, 76층), 성장률(k ∈ [6,26]), 경로 길이(연결 수)를 다양하게 조정하여 네트워크 아키텍처를 최적화하며, 총 파라미터 수를 약 100만 개로 유지한다.
• 표준 최적화 프로토콜을 사용해 모델을 훈련시키며, 비교를 위해 Fair한 비교를 위해 DenseNet에서 유도한 학습률 및 가중치 감쇠 스케줄을 적용한다.

실험 결과

연구 질문

• RQ1 DenseNet의 스킵 연결 수를 O(L²)에서 O(L)로 줄였을 때, 모델 크기와 FLOPs를 줄이면서도 성능을 유지하거나 향상시킬 수 있는가?
• RQ2 스퍼스한 DenseNet을 구현할 때, 유지할 연결을 선택하는 최적의 전략은 무엇인가? 가장 먼, 가장 가까운, 또는 균형 잡힌 조합인가?
• RQ3 깊이, 성장률, 경로 길이가 스퍼스한 네트워크의 일반화 성능과 효율성에 함께 미치는 영향는 어떠한가?
• RQ4 주의 모듈을 통합함으로써 스퍼스한 환경에서 성능 향상이 추가로 이루어지는가? 이로 인해 효율성이 떨어지지는 않는가?
• RQ5 SparseNet은 DenseNet 및 다른 SOTA 모델보다 훨씬 더 효율적이면서도 CIFAR-10, CIFAR-100, SVHN에서 SOTA 성능을 달성할 수 있는가?

주요 결과

• SparseNet은 CIFAR-10에서 테스트 오차율 3.40%를 기록하여 최고의 DenseNet-BC 모델(3.46%)을 능가하며, 파라미터 수는 2.6배 적다.
• SparseNet은 최고의 DenseNet 모델 대비 추론 속도가 3.7배 빠르며, 유사한 정확도를 유지하면서도 FLOPs가 크게 감소했다.
• 7-7 스퍼스화 전략(7개의 가장 먼 연결 + 7개의 가장 가까운 연결)이 CIFAR-10에서 가장 낮은 오차율을 기록했으며, 10-4, 4-10, 0-14 변형보다 우수했다.
• 최적의 모델 깊이는 28에서 76층 사이에 위치하며, 52층일 때 가장 뛰어난 성능을 보였다. 이는 극단적인 깊이나 넓이만으로는 최적의 성능을 달성할 수 없음을 시사한다.
• 주의 모듈은 CIFAR-10에서 성능을 0.15% 향상시켰으며, SE 모듈은 영향을 거의 미치지 못했다. 이는 이 환경에서 주의 메커니즘이 채널 별 재조정보다 더 효과적임을 시사한다.
• SparseNet은 전기화된 ResNet(10001층)과 CondenseNet보다 더 뛰어난 파라미터 효율성을 보였으며, 오차율은 낮고 파라미터 수는 10배 적었다.