[논문 리뷰] CondenseNet: An Efficient DenseNet using Learned Group Convolutions

Gao Huang, Shichen Liu외 2명|arXiv (Cornell University)|2017. 11. 25.

Advanced Neural Network Applications참고 문헌 44인용 수 95

한 줄 요약

CondenseNet은 학습된 그룹 컨볼루션을 도입하여 DenseNet의 중복 연결을 가지치고, 정확도를 유지하면서도 훨씬 적은 FLOPs와 파라미터로 빠른 추론을 가능하게 하는 일반적인 그룹 컨볼루션을 구현한다.

ABSTRACT

Deep neural networks are increasingly used on mobile devices, where computational resources are limited. In this paper we develop CondenseNet, a novel network architecture with unprecedented efficiency. It combines dense connectivity with a novel module called learned group convolution. The dense connectivity facilitates feature re-use in the network, whereas learned group convolutions remove connections between layers for which this feature re-use is superfluous. At test time, our model can be implemented using standard group convolutions, allowing for efficient computation in practice. Our experiments show that CondenseNets are far more efficient than state-of-the-art compact convolutional networks such as MobileNets and ShuffleNets.

연구 동기 및 목표

• 각 계층에 필수적인 입력 특징을 학습해 DenseNet에서 어떤 특징을 재사용할지 파악함으로써 계산 비용을 줄이면서 특징 재사용을 촉진한다.
• 학습 중 자동으로 그룹 수준의 희소성을 유도하는 가지치기 메커니즘을 개발하여 테스트 시 효율적인 그룹 컨볼루션이 가능하도록 한다.
• IGR 성장 및 전체 Dense 연결성과 같은 아키텍처 수준의 변경을 조사하여 정확도 손실 없이 효율성을 더욱 높인다.
• CondenseNet을 CIFAR-10/100 및 ImageNet에서 모바일 및 서버 지향 컴팩트 CNN과 비교 평가한다.
• 효율적인 추론을 위한 표준 그룹 컨볼루션에 의존하는 엔드투엔드 학습 및 배포 파이프라인을 제공한다.

제안 방법

• 학습된 그룹 컨볼루션(LGC)을 도입하여 1x1 필터 출력물을 G개 그룹으로 나누고 학습 중 입력 특징 그룹화를 학습한다.
• 그룹 내에서 같은 희소성 패턴을 유도하는 그룹 라소 규제에 의해 각 그룹의 1x1 필터 가중치를 반복적으로 가지치기하는 응축 계수 C의 응축 프로세스를 사용한다.
• 학습 중 가지치기된 가중치를 마스킹 메커니즘으로 대체하여 희소 행렬 연산을 피하고 GPU 효율성을 유지한다.
• 학습 후, 배치를 위한 특징 재배치를 수행하는 인덱스 레이어를 통해 희소화된 계층을 일반적인 그룹 컨볼루션으로 변환한다.
• 선택적으로 지수적으로 증가하는 성장 속도(IGR) 및 블록 간 완전한 Dense 연결성을 채택하여 특징 재사용과 효율성을 향상시킨다.
• 코사인 학습률 스케줄과 표준 DenseNet 유사 블록으로 학습하되 학습된 그룹 컨볼루션에 맞게 조정한다.

실험 결과

연구 질문

• RQ1 학습된 그룹 컨볼루션이 DenseNet과 비교하여 정확도를 해치지 않으면서 중복 계층 연결을 어떻게 가지치게 할 수 있는가?
• RQ2 CIFAR-10/100 및 ImageNet에서 Dense 연결을 학습된 그룹 컨볼루션으로 대체할 때 FLOPs와 파라미터 측면의 효율성 향상은 무엇인가?
• RQ3 IGR 성장 및 전체 Dense 연결성과 같은 아키텍처 변화가 데이터셋 전반에서 성능과 효율성을 개선하는가?
• RQ4 ImageNet에서 비슷한 정확도에서 CondenseNet이 MobileNets 및 ShuffleNets의 효율성과 대등하거나 그 이상을 달성할 수 있는가?
• RQ5 학습된 가지치기 전략이 서로 다른 학습 실행 간에 안정적인 연결 패턴을 유지하는가?

주요 결과

모델	파라미터	FLOPs	C-10	C-100
ResNet-1001	16.1M	2,357M	4.62	22.71
Stochastic-Depth-1202	19.4M	2,840M	4.91	-
Wide-ResNet-28	36.5M	5,248M	4.00	19.25
ResNeXt-29	68.1M	10,704M	3.58	17.31
DenseNet-190	25.6M	9,388M	3.46	17.18
NASNet-A	3.3M	-	3.41	-
condense light -160	3.1M	1,084M	3.46	17.55
condense -182	4.2M	513M	3.76	18.47

• CondenseNet은 유사 정확도에서 DenseNet보다 현저히 낮은 FLOPs를 달성하며, 예를 들어 275M FLOPs를 가진 CondenseNet은 ImageNet에서 약 29%의 top-1 오차를 달성하고 이는 대략 두 배의 연산을 사용하는 MobileNet과 비슷하다.
• CIFAR-10/100에서 CondenseNet 변형은 조밀한 네트워크 및 가지치기 기반 기준선을 따라 동일한 정확도에 도달하기 위해 약 8배 적은 파라미터와 FLOPs가 필요하다.
• 학습된 그룹 컨볼루션은 전통적인 DenseNet 유사 아키텍처에 비해 효율성을 크게 향상시키고 유사한 정확도에서 여러 최첨단 컴팩트 CNN을 능가한다.
• CondenseNet의 라이트 변형(condense-light)은 CIFAR-10에서 NASNet-A와 정확도 면에서 비슷한 성능을 보이면서도 훨씬 적은 파라미터와 FLOPs를 사용한다.
• ARM에서의 추론 시간은 CondenseNet (G=C=8)가 274M FLOPs로 유사 정확도에서 MobileNet보다 약 2배 빠른 실행 시간을 제공하고, 529M FLOPs에서는 경쟁력 있는 top-1 정확도를 달성한다.
• 차감 연구는 더 높은 그룹 수 G와 1보다 큰 응축 계수가 효율성 및 정확도를 향상시키며 실행 간 안정적인 전역 연결 패턴을 보임을 시사한다.