[논문 리뷰] DelugeNets: Deep Networks with Efficient and Flexible Cross-layer Information Inflows

Jason Kuen, Xiangfei Kong외 2명|arXiv (Cornell University)|2016. 11. 17.

Advanced Neural Network Applications참고 문헌 38인용 수 4

한 줄 요약

DelugeNets는 학습 가능한 교차층 분할 컨벌루션 레이어를 통해 공간적 및 채널 차원과 분리된 방식으로 교차층 상관관계를 처리함으로써 효율적이고 유연하며 대규모의 교차층 정보 유입을 가능하게 하는 새로운 딥 네ural 네트워크 아키텍처를 제안한다. 이러한 레이어들은 ResNets와 DenseNets보다 훨씬 낮은 FLOPs와 파라미터 수를 기반으로 CIFAR-10, CIFAR-100, ImageNet에서 최신 기준(SOTA) 정확도를 달성한다.

ABSTRACT

Deluge Networks (DelugeNets) are deep neural networks which efficiently facilitate massive cross-layer information inflows from preceding layers to succeeding layers. The connections between layers in DelugeNets are established through cross-layer depthwise convolutional layers with learnable filters, acting as a flexible yet efficient selection mechanism. DelugeNets can propagate information across many layers with greater flexibility and utilize network parameters more effectively compared to ResNets, whilst being more efficient than DenseNets. Remarkably, a DelugeNet model with just model complexity of 4.31 GigaFLOPs and 20.2M network parameters, achieve classification errors of 3.76% and 19.02% on CIFAR-10 and CIFAR-100 dataset respectively. Moreover, DelugeNet-122 performs competitively to ResNet-200 on ImageNet dataset, despite costing merely half of the computations needed by the latter.

연구 동기 및 목표

• 모든 이전 레이어 출력을 우선순위 없이 합산하는 ResNets의 유연성 부족하고 비선택적인 정보 흐름 문제를 해결한다.
• 모든 이전 레이어 출력을 연결하고 고비용의 컨벌루션 연산을 요구하는 DenseNets의 높은 계산 및 파라미터 비용 문제를 극복한다.
• 모델 효율성이나 표현 능력을 희생시키지 않고도 깊은 네트워크에서 대규모이면서도 선택적인 교차층 정보 유입을 가능하게 한다.
• 각 복합 레이어에서 정규화된 출력 너비를 유지하면서도 풍부한 교차층 연결성을 지원하는 파라미터 효율적인 아키텍처를 설계한다.
• 기존의 깊은 네트워크에 비해 계산 복잡도와 메모리 사용량을 줄이고도 이미지 분류 벤치마크에서 경쟁 가능한 성능을 달성한다.

제안 방법

• 공간적 및 채널 차원과 분리하여 깊이/교차층 차원만 처리하는 교차층 분할 컨벌루션 레이어를 도입한다.
• 교차층 분할 컨벌루션에 학습 가능한 필터를 사용하여 이전 레이어들로부터의 정보 선택을 민첩하고 적응적으로 가능하게 한다.
• 예: 16–64 채널과 같은 정규화된 출력 너비를 유지하는 복합 레이어를 구성함으로써 효율적인 파라미터 사용과 확장성을 확보한다.
• 깊은 스택을 거쳐 계층적인 특징 전파를 관리하기 위해 블록 기반 아키텍처와 블록 전이 구성 요소를 설계한다.
• CIFAR 및 ImageNet 데이터셋에서 표준 학습 프로토콜(SGD에 Nesterov 모멘텀, 가중치 감쇠,余弦 학습률 감쇠)을 적용한다.
• 대규모 모델과 고해상도 입력을 효율적으로 처리하기 위해 배치 분할을 활용한 다중 GPU 학습을 수행한다.

실험 결과

연구 질문

• RQ1 높은 계산 비용이나 파라미터 비용 없이도 깊은 네트워크 아키텍처가 대규모이면서도 민감하고 효율적인 교차층 정보 흐름을 지원할 수 있는가?
• RQ2 고정된 잔여 연결(ResNets)이나 연결 기반 연결(DenseNets)과 비교할 때, 분할 컨벌루션을 통한 학습 가능한 교차층 연결성이 정확도와 효율성 측면에서 어떻게 성능을 내는가?
• RQ3 DelugeNets가 표현 능력을 유지하면서도 FLOPs와 파라미터를 줄였을 때 얼마나 높은 성능을 유지할 수 있는가?
• RQ4 공간적 및 채널 차원에서 교차층 상관관계 학습을 분리함으로써 학습 안정성과 일반화 성능이 향상되는가?
• RQ5 유사한 모델 복잡도 제약 조건 하에서 DelugeNets가 ResNet 및 DenseNet과 같은 최신 기준 모델을 초월할 수 있는가?

주요 결과

• 4.31 GFLOPs와 20.2M 파라미터를 가진 DelugeNet은 CIFAR-10에서 3.76%의 top-1 오차, CIFAR-100에서는 19.02%의 오차를 기록하여 복잡도가 낮은 표준 ResNets와 DenseNets를 능가한다.
• DelugeNet-122는 오직 15.2 GFLOPs로 ImageNet에서 21.53%의 top-1 오차를 기록하며, ResNet-200의 성능을 따라잡고도 FLOPs를 절반으로 줄였다.
• DelugeNet-92(43.4M 파라미터, 11.8 GFLOPs)는 ImageNet에서 ResNet-101과 ResNet-152를 뛰어넘어 더 낮은 top-1 및 top-5 오차를 기록했다.
• 어떤 ResNets보다 높은 파라미터 수를 가졌음에도 불구하고 DelugeNets는 훨씬 낮은 FLOPs로 더 높은 정확도를 달성하여 뛰어난 파라미터 효율성을 보였다.
• DelugeNet-122는 유사하거나 낮은 모델 복잡도로 DenseNet-161을 뛰어넘는 정확도를 기록하여 효율성과 확장성의 우수함을 입증했다.
• DelugeNet-146의 경우 학습 시 2.8GB의 메모리 사용량(ResNet의 1.3GB 대비)을 기록했지만, 최대 8.6GB까지 필요한 DenseNet-BC 변종들보다도 더 효율적이었다.