[논문 리뷰] Convolutional Networks with Dense Connectivity

Gao Huang, Zhuang Liu외 3명|arXiv (Cornell University)|2020. 01. 08.

Advanced Neural Network Applications참고 문헌 47인용 수 9

한 줄 요약

이 논문은 밀도 연결 합성곱 네트워크(DenseNet)를 소개한다. 이는 특성 맵 연결을 통해 모든 레이어를 직접적으로 이전 및 이후 레이어와 연결하는 딥 러닝 아키텍처로, 향상된 특성 재사용, 개선된 기울기 흐름, 더 높은 파라미터 효율성을 가능하게 한다. DenseNet은 이전 방법보다 적은 파라미터와 계산량으로 CIFAR-10, CIFAR-100, SVHN, ImageNet에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Recent work has shown that convolutional networks can be substantially deeper, more accurate, and efficient to train if they contain shorter connections between layers close to the input and those close to the output. In this paper, we embrace this observation and introduce the Dense Convolutional Network (DenseNet), which connects each layer to every other layer in a feed-forward fashion.Whereas traditional convolutional networks with L layers have L connections - one between each layer and its subsequent layer - our network has L(L+1)/2 direct connections. For each layer, the feature-maps of all preceding layers are used as inputs, and its own feature-maps are used as inputs into all subsequent layers. DenseNets have several compelling advantages: they alleviate the vanishing-gradient problem, encourage feature reuse and substantially improve parameter efficiency. We evaluate our proposed architecture on four highly competitive object recognition benchmark tasks (CIFAR-10, CIFAR-100, SVHN, and ImageNet). DenseNets obtain significant improvements over the state-of-the-art on most of them, whilst requiring less parameters and computation to achieve high performance.

연구 동기 및 목표

• 매우 깊은 합성곱 네트워크에서의 기울기 소실 문제를 해결하기 위해 레이어 간 정보 및 기울기 흐름을 향상시키는 것.
• 모든 레이어 간 직접 연결을 통해 동일한 특성 맵 크기를 가진 레이어들 간의 특성 재사용과 파라미터 효율성을 향상시키는 것.
• 최적화의 어려움 없이 수백 개의 레이어로도 확장 가능한 단순하면서도 효과적인 아키텍처를 설계하는 것.
• 다양한 벤치마크 데이터셋에서 제안된 아키텍처를 평가하고, 모델 복잡도를 줄이면서도 일관된 정확도 향상을 입증하는 것.

제안 방법

• DenseNet의 각 레이어는 이전 모든 레이어의 특성 맵을 입력으로 받아, 덧셈 대신 연결(concatenation)을 통해 특성을 통합한다.
• 네트워크는 밀도 연결 패턴을 사용하여, L개의 레이어를 가진 네트워크에서 표준 네트워크의 L개 대비 $\frac{L(L+1)}{2}$개의 직접 연결을 가지게 된다.
• 성장률(growth rate) 하이퍼파rameter는 각 레이어가 추가하는 특성 맵의 수를 제어하며, 각 레이어의 출력은 이후 모든 레이어에 연결된다.
• 각 합성곱 레이어 이전에 사전 활성화 배치 정규화(Pre-activation batch normalization)를 적용하여 학습 안정성과 성능을 향상시킨다.
• 전이(transition) 레이어는 평균 풀링과 배치 정규화를 사용하여 특성 맵을 다운샘플링하고, 채널 수를 줄이기 위해 1x1 합성곱을 적용한다.
• 아키텍처는 다양한 구성 방식을 지원하며, 지수적으로 증가하는 성장률과 후행 활성화 배치 정규화 변형 등은 분석 및 효율성 평가에 활용된다.

실험 결과

연구 질문

• RQ1 모든 레이어 간에 밀도 연결 스킵 커넥션을 가진 완전히 연결된 피드포워드 아키텍처가 깊은 합성곱 네트워크에서 학습 안정성과 성능 향상에 기여할 수 있는가?
• RQ2 밀도 연결이 특성 재사용을 강화하고 중복된 특성 학습의 필요성을 줄여 파라미터 효율성을 높이는가?
• RQ3 다양한 벤치마크에서 제안된 DenseNet 아키텍처가 ResNets 및 기타 깊은 네트워크와 비교해 정확도, 파라미터 수, 계산 비용 측면에서 어떻게 성능을 내는가?
• RQ4 사전 활성화 배치 정규화 및 성장률 스케줄링과 같은 아키텍처 선택이 모델 효율성과 정확도에 어떤 영향을 미치는가?

주요 결과

• DenseNet은 이전 방법보다 훨씬 적은 파라미터와 계산량으로 CIFAR-10, CIFAR-100, SVHN, ImageNet에서 최신 기술 수준의 정확도를 달성한다.
• CIFAR-10에서 성장률 32를 가진 DenseNet은 96.48%의 테스트 정확도를 기록하며, 파라미터 수가 더 적은 ResNet 및 기타 베이스라인을 초월한다.
• 수백 개의 레이어에 이르는 상황에서도 성능 저하 또는 과적합의 징후가 없이 안정적인 확장성을 보이며, 강력한 확장성과 내구성을 입증한다.
• 사전 활성화 배치 정규화는 후행 활성화 변형 대비 유의미하게 높은 파라미터 및 계산 효율성을 제공한다.
• 지수적으로 증가하는 성장률을 가진 DenseNets는 특히 더 깊은 모델에서 오차 대 FLOPs의 트레이드오���에서 계산 효율성이 향상됨을 보여준다.
• 절단 분석을 통해 밀도 연결이 정보 및 기울기 흐름을 강화하여 최적화의 어려움을 줄이고 일반화 성능을 향상시킴을 확인한다.