[논문 리뷰] Deep Pyramidal Residual Networks

Dongyoon Han, Jiwhan Kim외 1명|arXiv (Cornell University)|2016. 10. 10.

Advanced Neural Network Applications참고 문헌 31인용 수 29

한 줄 요약

이 논문은 깊이 있는 피라미드형 잔차망(피라미드넷)을 소개한다. 피라미드넷은 다운샘플링 유닛에서 급격히 증가하는 대신, 모든 레이어를 거쳐 기능맵 차원을 점진적으로 증가시킨다. 능력 분포를 더 균일하게 하고, 제로패딩된 숏컷을 갖는 새로운 잔차 유닛을 도입함으로써, CIFAR-10, CIFAR-100, ImageNet에서 최고의 일반화 성능을 달성한다. 특히 320×320 크롭을 사용할 경우 ImageNet에서 상위-1 오차율이 19.6%에 달한다.

ABSTRACT

Deep convolutional neural networks (DCNNs) have shown remarkable performance in image classification tasks in recent years. Generally, deep neural network architectures are stacks consisting of a large number of convolutional layers, and they perform downsampling along the spatial dimension via pooling to reduce memory usage. Concurrently, the feature map dimension (i.e., the number of channels) is sharply increased at downsampling locations, which is essential to ensure effective performance because it increases the diversity of high-level attributes. This also applies to residual networks and is very closely related to their performance. In this research, instead of sharply increasing the feature map dimension at units that perform downsampling, we gradually increase the feature map dimension at all units to involve as many locations as possible. This design, which is discussed in depth together with our new insights, has proven to be an effective means of improving generalization ability. Furthermore, we propose a novel residual unit capable of further improving the classification accuracy with our new network architecture. Experiments on benchmark CIFAR-10, CIFAR-100, and ImageNet datasets have shown that our network architecture has superior generalization ability compared to the original residual networks. Code is available at https://github.com/jhkim89/PyramidNet}

연구 동기 및 목표

• 잔차망에서 다운샘플링 유닛에 능력이 집중되는 문제를 해결함으로써 일반화 성능을 제한하고 모델이 유닛 제거에 민감하게 되는 것을 방지한다.
• 다운샘플링 블록에 집중되는 기능맵 차원 증가를 피하고, 모든 레이어에 걸쳐 기능맵 차원 증가를 분산시킴으로써 일반화 성능을 향상시킨다.
• 제로패딩된 아이덴티티 숏컷을 갖는 새로운 잔차 유닛을 개발하여 깊이 있는 네트워크에서 성능을 향상시킨다.
• CIFAR 및 ImageNet 벤치마크에서 광범위한 실험을 통해 피라미드 아키텍처의 효과성을 검증한다.

제안 방법

• 모든 레이어에서 채널 수를 점진적으로 증가시켜 입력에서 출력으로 향하는 피라미드 구조를 형성하는 깊이 있는 피라미드형 잔차망(피라미드넷)을 제안한다.
• 기능맵 차원을 매끄럽게 증가시킬 수 있도록 제로패딩된 아이덴티티 숏컷을 갖는 새로운 잔차 유닛을 도입한다.
• 선형 대비 곱셈적 기능맵 스케일링의 영향을 비교하기 위해 피라미드넷의 덧셈형 및 곱셈형 변형을 사용한다.
• 최종 레이어에서 배치 정규화, ReLU, 글로벌 평균 풀링을 적용하고, ImageNet 학습에 표준 데이터 증강 기법을 사용한다.
• 학습은 코즈인 감소와 학습률 스케줄링을 적용한 확률적 경사 하강법를 사용하며, 표준 벤치마크에서 상위-1 오차율을 평가한다.
• 주요 비교 시에는 드롭아웃 또는 스토하스틱 디pth를 적용하지 않아 최신 기준 모델과의 공정한 평가를 확보한다.

실험 결과

연구 질문

• RQ1 모든 레이어를 거쳐 기능맵 차원을 점진적으로 증가시키는 것이 깊이 있는 잔차망의 일반화 성능 향상에 기여하는가?
• RQ2 네트워크 전반에 능력을 균일하게 분포시킴으로써 개별 잔차 유닛 제거에 대한 민감도가 감소하는가?
• RQ3 제로패딩된 숏컷을 갖는 새로운 잔차 유닛이 기존 잔차 유닛을 초월해 성능 향상에 기여하는가?
• RQ4 모델 능력과 정확도 측면에서 피라미드 아키텍처는 전통적인 곱셈적 스케일링 대비 어떻게 비교되는가?

주요 결과

• α=300인 피라미드넷은 ImageNet-1k에서 상위-1 오차율 20.5%를 기록하며, 유사한 파라미터 수를 가진 프리액티베이션 ResNet-200을 능가한다.
• 320×320 크롭을 사용할 경우 피라미드넷은 상위-1 오차율을 19.6%로 낮춰, 프리액티베이션 ResNet과 Inception-ResNet-v2를 모두 앞선다.
• 기능맵을 선형적으로 증가시키는 덧셈형 피라미드넷은 모델 능력이 증가할수록 곱셈형보다 성능이 뛰어나, 입력 측 능력이 더 유리함을 시사한다.
• 다운샘플링 유닛을 제거해도 성능 유지가 가능하여, 잔차망의 앙상블 해석을 뒷받침한다.
• 더 적은 파라미터로 CIFAR-10 및 CIFAR-100에서 최고의 성능을 기록하며, 뛰어난 일반화 성능을 확보한다.
• 피라미드 설계에서 도출된 통찰은 일반화 가능하며, 다른 깊이 있는 네트워크 아키텍처의 성능 향상에 적용할 수 있다.