[논문 리뷰] When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks

Zhiyu Zhu, Zhen-Peng Bian외 3명|arXiv (Cornell University)|2020. 04. 19.

Advanced Neural Network Applications참고 문헌 31인용 수 4

한 줄 요약

이 논문은 전반적인 잔차 학습과 국소적 마이크로-밀도 집합을 조합하여 특징 표현을 향상시키고 파rameter 중복을 줄이는 새로운 딥 네ural 네트워크 아키텍처인 마이크로-디ensa 넷스를 제안한다. 피라미드형 다수준 특징 학습과 차원 카디널리티 적응형 컨볼루션을 도입함으로써, 단지 400만 개의 파라미터로 CIFAR-10, CIFAR-100, ImageNet-1K에서 최신 기준 성능을 달성한다—유사 모델 대비 12.1배 작으며, 정확도와 효율성 면에서 기존 최고 수준의 네트워크를 능가한다.

ABSTRACT

Various architectures (such as GoogLeNets, ResNets, and DenseNets) have been proposed. However, the existing networks usually suffer from either redundancy of convolutional layers or insufficient utilization of parameters. To handle these challenging issues, we propose Micro-Dense Nets, a novel architecture with global residual learning and local micro-dense aggregations. Specifically, residual learning aims to efficiently retrieve features from different convolutional blocks, while the micro-dense aggregation is able to enhance each block and avoid redundancy of convolutional layers by lessening residual aggregations. Moreover, the proposed micro-dense architecture has two characteristics: pyramidal multi-level feature learning which can widen the deeper layer in a block progressively, and dimension cardinality adaptive convolution which can balance each layer using linearly increasing dimension cardinality. The experimental results over three datasets (i.e., CIFAR-10, CIFAR-100, and ImageNet-1K) demonstrate that the proposed Micro-Dense Net with only 4M parameters can achieve higher classification accuracy than state-of-the-art networks, while being 12.1$ imes$ smaller depends on the number of parameters. In addition, our micro-dense block can be integrated with neural architecture search based models to boost their performance, validating the advantage of our architecture. We believe our design and findings will be beneficial to the DNN community.

연구 동기 및 목표

• 기존의 딥 네트워크의 한계, 즉 ResNets와 DenseNets에서의 파라미터 중복과 비효율적 특징 활용을 해결하기 위해.
• 계산 비용과 모델 크기를 줄이면서도 분류 정확도를 유지하거나 향상시키기 위해.
• 더 나은 특징 표현을 위해 국소적 밀도 연결과 전반적인 잔차 학습을 조합한 새로운 집합 전략을 탐색하기 위해.
• CIFAR 및 ImageNet 데이터셋에서 광범위한 실험을 통해 제안된 아키텍처의 효과성을 검증하기 위해.

제안 방법

• 각 블록 내에서 국소적 밀도 연결을 사용하여 특징 추출을 향상시키고 중복을 줄이는 마이크로-디ensa 블록을 제안한다.
• 마이크로-디ensa 블록 간에 전역 신뢰성 매핑을 도입하여 기울기 흐름을 유지하고 깊은 학습을 가능하게 한다.
• 피라미드형 다수준 특징 학습을 적용하여, 블록 내에서 계층이 진행됨에 따라 출력 채널 수가 점진적으로 증가하여 정보 손실을 방지한다.
• 차원 카디널리티 적응형 컨볼루션을 적용하여, 특징 맵의 폭에 따라 컨볼루션 그룹 수를 선형적으로 증가시켜 파라미터 증가를 통제한다.
• 다양한 벤치마크에서 높은 정확도를 유지하면서도 단지 400만 개의 파라미터만을 갖는 경량 아키텍처를 설계한다.
• 마이크로-디ensa 블록을 NAS 기반 모델인 EfficientNet-B0에 통합하여, 전이 가능성과 성능 향상을 검증하는 마이크로-디ensa-에프피시언트넷을 구축한다.

실험 결과

연구 질문

• RQ1 국소적 밀도 집합과 전역 잔차 학습을 조합한 하이브리드 아키텍처가 기존 최고 수준의 모델보다 더 적은 파라미터로 더 높은 성능을 달성할 수 있는가?
• RQ2 고정 증가율 특징 학습과 비교할 때, 피라미드형 다수준 특징 학습은 표현 능력 면에서 어떻게 다를까?
• RQ3 정규 잔차 또는 밀도 집합과 비교해 마이크로-디ensa 집합이 정확도와 학습 안정성 면에서 더 우수한가?
• RQ4 마이크로-디ensa 블록이 NAS 기반 아키텍처에 얼마나 효과적으로 통합될 수 있는가?
• RQ5 차원 카디널리티 적응형 컨볼루션 전략이 파라미터 폭발을 방지하면서도 깊이 있는 특징 학습을 가능하게 하는가?

주요 결과

• 마이크로-디ensa 넷은 단지 400만 개의 파라미터로 ImageNet-1K에서 상위 1위 정확도 97.84%를 달성하여, 기존 최고 수준의 모델보다 뛰어나며 파라미터 수가 12.1배 적다.
• CIFAR-100에서 모델은 동일한 파라미터 및 FLOP 제약 조건 하에 18.49%의 테스트 오차율을 기록하며, Res2Net과 ResNeXt를 초월한다.
• 마이크로-디ensa 블록은 표준 잔차 또는 밀도 집합보다 오차율 감소 효과가 뛰어나며, CIFAR-10과 CIFAR-100에서 평가된 모든 모델 중에서 가장 낮은 테스트 손실과 오차율을 기록한다.
• 마이크로-디ensa-에프피시언트넷은 FLOPs와 파라미터 수를 동일하게 유지하면서도, EfficientNet-B0의 상위 1위 정확도를 0.5%포인트 향상시켜 76.8%로 끌어올렸다.
• 마이크로-디ensa-에프피시언트넷의 활성화 맵은 목표 물체에 더 선명하게 집중함을 보여주어 개선된 특징 국소화 및 표현 능력을 시사한다.
• 제거 실험 결과, 피라미드형 다수준 특징 학습과 차원 카디널리티 적응형 컨볼루션은 성능 향상에 결정적인 역할을 하며, 둘 다 정확도 향상에 기여한다.