[논문 리뷰] Densely Connected Convolutional Networks

Gao Huang, Zhuang Liu외 2명|arXiv (Cornell University)|2016. 08. 25.

Advanced Neural Network Applications참고 문헌 37인용 수 1,897

한 줄 요약

DenseNet은 각 층을 모든 이전 층과 연결하여 특징 재사용과 효율적 학습을 가능하게 합니다. CIFAR-10/100 및 SVHN에서 적은 파라미터 및 계산으로 강력한 성능을 달성하며, ImageNet에서는 파라미터 수를 줄인 채 ResNet의 성능과 일치합니다.

ABSTRACT

Recent work has shown that convolutional networks can be substantially deeper, more accurate, and efficient to train if they contain shorter connections between layers close to the input and those close to the output. In this paper, we embrace this observation and introduce the Dense Convolutional Network (DenseNet), which connects each layer to every other layer in a feed-forward fashion. Whereas traditional convolutional networks with L layers have L connections - one between each layer and its subsequent layer - our network has L(L+1)/2 direct connections. For each layer, the feature-maps of all preceding layers are used as inputs, and its own feature-maps are used as inputs into all subsequent layers. DenseNets have several compelling advantages: they alleviate the vanishing-gradient problem, strengthen feature propagation, encourage feature reuse, and substantially reduce the number of parameters. We evaluate our proposed architecture on four highly competitive object recognition benchmark tasks (CIFAR-10, CIFAR-100, SVHN, and ImageNet). DenseNets obtain significant improvements over the state-of-the-art on most of them, whilst requiring less computation to achieve high performance. Code and pre-trained models are available at https://github.com/liuzhuang13/DenseNet .

연구 동기 및 목표

• Dense 연결을 통해 정보 흐름과 그래디언트 흐름을 개선하여 더 깊은 네트워크의 동기를 부여한다.
• 레이어 간에 특징을 재사용하는 간결하고 파라미터 효율적인 아키텍처를 제안한다.
• DenseNet의 정확도 향상과 CIFAR-10, CIFAR-100, SVHN, ImageNet에서의 파라미터 수 감소를 입증한다.
• 밀집 연결이 암시적 심층 감독 및 정규화로 작용하는 방식을 분석한다.

제안 방법

• 각 층 l이 이전 모든 층의 특징 맵을 연결한 입력으로 받는 DenseNet을 도입한다.
• H_l을 BN-ReLU-Conv의 합성 함수로 정의하고, 선택적으로 병목 구조 BN-ReLU-Conv(1x1)-BN-ReLU-Conv(3x3)로 구성한다.
• 네트워크를 Dense 블록으로 나누고, 선택된 theta 매개변수(DenseNet-C) 또는 병목(DenseNet-BC)을 통해 압축을 수행하는 전이 층으로 구분한다.
• 성장률 k를 제어하여 각 층이 집합 상태에 얼마만큼의 새로운 특징 맵을 추가하는지 결정한다.
• CIFAR/ImageNet에서 SGD와 표준 데이터 증강으로 학습하고; top-1/top-5 정확도와 파라미터 수를 보고한다.
• Dense 연결이 ResNet 유사 아키텍처와 비교하여 그래디언트 흐름, 특징 재사용 및 정규화를 개선한다는 근거를 제공한다.

실험 결과

연구 질문

• RQ1 밀집 연결(모든 층을 이후 모든 층과 연결)이 잔차 연결을 넘어 정보 흐름과 그래디언트 흐름을 개선할 수 있는가?
• RQ2 성장률 k와 병목/압축 설계가 표준 비전 벤치마크에서 파라미터 효율성과 정확도에 어떤 영향을 미치는가?
• RQ3 DenseNets가 CIFAR-10, CIFAR-100, SVHN, ImageNet에서 이전 아키텍처보다 더 적은 파라미터와 계산으로 최첨단 성능을 달성하는가?

주요 결과

모델	C10	C10+	C100	C100+	SVHN
DenseNet-BC (k=12), L=100	5.92	4.51	24.15	22.27	1.76
DenseNet-BC (k=24), L=250	5.19	3.62	19.64	17.60	1.74
DenseNet-BC (k=40), L=190	-	3.46	-	17.18	-

• DenseNets는 여러 구성에서 증강 없이 CIFAR-10, CIFAR-100 및 SVHN에서 최첨단을 능가하고, 여러 경우에서 증강 시에도 동등하거나 더 우수하다.
• DenseNet-BC(L=190, k=40)은 3.46% (CIFAR-10, 증강) 및 17.18% (CIFAR-100, 증강)를 달성하여 FractalNet 및 Wide ResNets를 여러 설정에서 능가한다.
• DenseNet 변형은 강력한 ImageNet 결과를 달성하며, DenseNet-201은 101-layer ResNet과 비교할 만한 top-1 정확도를 대략 절반의 파라미터로 달성한다; DenseNet-BC는 ResNet 성능과 일치시키되 훨씬 적은 파라미터와 FLOPs를 사용한다.
• DenseNets는 0.8–7.0M 파라미터로 CIFAR/SVHN에서 경쟁력 있는 결과를 달성하고, 250-layer DenseNet-BC(k=24)는 더 많은 파라미터를 가진 더 큰 모델보다 CIFAR-100+ 및 SVHN에서 우수한 성과를 보인다.
• DenseNets는 더 작은 데이터셋에서 과적합 경향이 감소하고 Dense 연결을 통한 암시적 심층 감독을 제공한다.