[논문 리뷰] Lets keep it simple, Using simple architectures to outperform deeper and more complex architectures

Seyyed Hossein Hasanpour, Mohammad Rouhani외 2명|arXiv (Cornell University)|2016. 08. 22.

Advanced Neural Network Applications참고 문헌 56인용 수 56

한 줄 요약

이 논문은 CIFAR-10, MNIST, CIFAR-100, SVHN 및 ImageNet에서 최고 수준 또는 최고 수준에 근접한 성능을 달성하기 위해 원칙적인 아키텍처 선택을 고려해 설계된 경량 13층 컨볼루션 신경망 아키텍처인 SimpleNet을 제안한다. 이는 VGGNet 및 ResNet과 같은 더 깊고 복잡한 모델보다 성능이 뛰어나며, 파rameter 수와 FLOPs를 2배에서 25배 적게 사용한다.

ABSTRACT

Major winning Convolutional Neural Networks (CNNs), such as AlexNet, VGGNet, ResNet, GoogleNet, include tens to hundreds of millions of parameters, which impose considerable computation and memory overhead. This limits their practical use for training, optimization and memory efficiency. On the contrary, light-weight architectures, being proposed to address this issue, mainly suffer from low accuracy. These inefficiencies mostly stem from following an ad hoc procedure. We propose a simple architecture, called SimpleNet, based on a set of designing principles, with which we empirically show, a well-crafted yet simple and reasonably deep architecture can perform on par with deeper and more complex architectures. SimpleNet provides a good tradeoff between the computation/memory efficiency and the accuracy. Our simple 13-layer architecture outperforms most of the deeper and complex architectures to date such as VGGNet, ResNet, and GoogleNet on several well-known benchmarks while having 2 to 25 times fewer number of parameters and operations. This makes it very handy for embedded systems or systems with computational and memory limitations. We achieved state-of-the-art result on CIFAR10 outperforming several heavier architectures, near state of the art on MNIST and competitive results on CIFAR100 and SVHN. We also outperformed the much larger and deeper architectures such as VGGNet and popular variants of ResNets among others on the ImageNet dataset. Models are made available at: https://github.com/Coderx7/SimpleNet

연구 동기 및 목표

• 높은 계산 및 메모리 요구량에도 불구하고 뛰어난 정확도를 보이는 깊고 복잡한 CNN 모델들(예: VGGNet 및 ResNet)의 비효율성 해결
• 효율성 향상을 위해 성능을 희생시키는 기존의 경량 아키텍처의 정확도 한계 극복
• 잘 설계된 단순한 아키텍처가 훨씬 낮은 모델 복잡도로도 초우수한 정확도를 달성할 수 있음을 입증
• 자원 제약 환경에 적합한 효율적이고 정확한 CNN을 설계하기 위한 원칙적인 설계 프레임워크 제공
• 다양한 표준 비전 데이터셋에서 더 무거운 아키텍처를 능가하는 경량 모델의 새로운 기준 설정

제안 방법

• 효율성과 성능에 중점을 둔 체계적인 아키텍처 원칙을 사용해 13층의 컨볼루션 신경망을 설계
• 조기 단계에서 공간 차원을 줄이기 위해 스트라이드 컨볼루션과 다운샘플링 레이어를 활용해 계산 부담을 최소화
• 배치 정규화와 ReLU 활성화 함수를 사용해 학습의 안정성과 속도 향상
• 표현 능력과 파rameter 효율성의 균형을 맞추기 위해 각 레이어의 필터 크기와 채널 수 최적화
• 일반적인 데이터 증강 및 최적화 기법(예: 모멘터럼이 있는 SGD)을 적용해 일반화 능력 향상
• 모든 벤치마크에서 동일한 아키텍처를 사용해 공정한 비교 및 일반화 능력 검증

실험 결과

연구 질문

• RQ1 더 깊고 복잡한 모델들(예: ResNet 및 VGGNet)보다 훨씬 적은 파rameter를 사용하면서도 정확도에서 뛰어난 성능을 내는 단순하고 浅층적인 CNN 아키텍처가 가능한가?
• RQ2 아키텍처의 단순성과 원칙적인 설계 선택이 성능을 희생시키지 않으면서도 계산 및 메모리 오버헤드를 얼마나 줄일 수 있는가?
• RQ3 CIFAR-10, CIFAR-100, SVHN, MNIST 및 ImageNet과 같은 표준 벤치마크에서 SimpleNet과 같은 경량 아키텍처는 최고 수준의 모델과 어떻게 비교되는가?
• RQ4 더 적은 하이퍼파ram터와 레이어를 가진 최소한의 아키텍처 설계가 다양한 비전 작업에서 경쟁력 있거나 초우수한 정확도를 달성할 수 있는가?
• RQ5 특정 작업에 맞게 튜닝하지 않고도 하나의 통합된 경량 아키텍처가 여러 데이터셋에서 뛰어난 성능을 낼 수 있는가?

주요 결과

• SimpleNet는 VGGNet 및 ResNet 변종과 같은 더 깊고 복잡한 모델보다 뛰어난 정확도로 CIFAR-10에서 최고 수준의 성능 달성
• ImageNet에서 SimpleNet는 파rameter 수가 훨씬 적음에도 불구하고 VGGNet 및 표준 ResNet 변종보다 뛰어난 성능 기록
• 최소한의 아키텍처로 MNIST에서 거의 최고 수준의 성능를 달성해 소규모 데이터셋에서도 강력한 일반화 능력 입증
• 더 깊은 모델 대비 파rameter 수를 2~25배 줄이고 FLOPs도 유사한 수준으로 감소시켜 임베디드 시스템에 매우 적합함
• CIFAR-100 및 SVHN에서도 경쟁력 있는 결과 기록해 다양한 비전 벤치마크에서의 강건성 확인
• 저자들이 최종 버전에서 오랜 기간 누락되었던 ImageNet 및 CIFAR-10/100 결과를 업데이트하고 추가해, 모델의 다수 평가에서 지속적인 성능 유지 검증