[논문 리뷰] Gradually Updated Neural Networks for Large-Scale Image Recognition

Siyuan Qiao, Zhishuai Zhang외 3명|arXiv (Cornell University)|2017. 11. 25.

Advanced Neural Network Applications참고 문헌 39인용 수 3

한 줄 요약

이 논문은 채널별 연산 순서를 복소층에 도입하여 추가 파rameter 없이 네트워크 깊이를 증가시키는 새로운 방법인 점진적 업데이트 신경망(GUNN)을 제안한다. GUNN은 손실 곡면의 겹침 특이성을 제거하여 훈련 수렴성과 성능을 향상시키며, 기존 아키텍처에 최소한의 수정을 가하여 CIFAR-10, CIFAR-100, ImageNet에서 최고 성능을 달성한다.

ABSTRACT

Depth is one of the keys that make neural networks succeed in the task of large-scale image recognition. The state-of-the-art network architectures usually increase the depths by cascading convolutional layers or building blocks. In this paper, we present an alternative method to increase the depth. Our method is by introducing computation orderings to the channels within convolutional layers or blocks, based on which we gradually compute the outputs in a channel-wise manner. The added orderings not only increase the depths and the learning capacities of the networks without any additional computation costs, but also eliminate the overlap singularities so that the networks are able to converge faster and perform better. Experiments show that the networks based on our method achieve the state-of-the-art performances on CIFAR and ImageNet datasets.

연구 동기 및 목표

• 추가 파rameter나 계산 비용을 증가시키지 않고도 효과적인 깊이를 증가시키는 새로운 메커니즘을 도입하여 매우 깊은 네트워크를 훈련시키는 데 도전하는 것.
• 기존의 깊은 네트워크에서 훈련을 방해하고 성능을 떨어뜨리는 손실 곡면의 겹침 특이성을 제거하는 것.
• 특징 계산의 구조적 재정렬을 통해 깊은 컨volution 네트워크의 일반화 능력과 수렴 속도를 향상시키는 것.
• 기존 아키텍처에 최소한의 플러그인 수정을 가하여 표준 이미지 인식 벤치마크에서 최고 성능을 달성하는 것.

제안 방법

• GUNN은 복소층에서 채널 간 순차적 연산 순서를 도입하여, 각 출력 채널이 이전 채널들 이후에 계산되도록 하여 효과적인 깊이를 증가시킨다.
• 이 방법은 원본 네트워크와 동일한 파arameter 수와 FLOPs를 유지하므로 계산적으로 효율적이다.
• 순차적 처리를 통해 뉴런 간 대칭성을 깨뜨림으로써 GUNN은 내부 뉴런 붕괴를 방지하고 손실 곡면의 겹침 특이성을 제거한다.
• 이 방법은 잔차 학습과 호환되며, ResNet이나 DenseNet과 같은 임의의 잔차 네트워크 아키텍처에 적용할 수 있다.
• 계산 순서는 각 블록 내에서 채널 수준에서 적용되어 네트워크 전반에 걸쳐 점진적인 특징 정제를 가능하게 한다.
• 이 방법은 ResNet 및 DenseNet과 같은 표준 아키텍처에 적용되어, 채널 연산 순서를 재정렬함으로써 GUNN 변형으로 전환된다.

실험 결과

연구 질문

• RQ1 파arameter나 FLOPs를 증가시키지 않으면서도 네트워크가 더 높은 효과적 깊이와 향상된 성능을 달성할 수 있는가?
• RQ2 채널 간 순차적 연산 순서를 도입함으로써 깊은 네트워크의 손실 곡면에서 겹침 특이성이 제거되는가?
• RQ3 GUNN은 CIFAR 및 ImageNet과 같은 표준 이미지 인식 벤치마크에서 훈련 수렴성과 일반화 능력을 향상시킬 수 있는가?
• RQ4 정확도와 훈련 역학 측면에서 GUNN은 ResNet, DenseNet, ResNeXt와 같은 최고 수준의 아키텍처와 어떻게 비교되는가?

주요 결과

• GUNN-18는 파arameter 수가 유사한 ResNet-18(24.0%) 및 ResNeXt-18(22.2%)보다 우수한 상위-1 오차 21.65%를 기록했다.
• CIFAR-10에서 GUNN-15는 잔차 학습을 통해 오차를 4.15%로 줄였고, 기준선 SUNN-15의 5.64%보다 우수했다.
• 제거 분석 결과, GUNN과 잔차 학습을 결합한 경우 CIFAR-10에서 오차가 1.49% 감소했고, CIFAR-100에서는 7.06% 감소했다.
• GUNN-24는 CIFAR-10에서 상위-1 오차 3.21%를 기록하여, SUNN-24(3.88%)보다 뚜렷이 뛰어나며 수렴 속도도 더 빠르게 나타났다.
• 훈련 역학 분석 결과, GUNN 네트워크는 더 빠르게 수렴하고 뉴런 붕괴로 인한 성능 저하를 피하는 것으로 나타났다.
• GUNN는 2890만 개의 파arameter를 가진 ImageNet에서 최고 성능을 달성하였으며, 더 복잡한 모델인 DenseNet-264 및 ResNeXt-101과 비교해도 동등하거나 슈퍼리어한 성능을 보였다.