[논문 리뷰] Very Deep Convolutional Networks for Large-Scale Image Recognition

Karen Simonyan, Andrew Zisserman|arXiv (Cornell University)|2014. 09. 04.

Advanced Vision and Imaging참고 문헌 30인용 수 75,407

한 줄 요약

이 논문은 3x3 필터로 구성된 아주 깊은 ConvNet(가중치 층 11–19)을 대규모 이미지 인식에 적용하여 최첨단 성과를 달성하고 최상위 모델들을 공개한다는 것을 조사한다.

ABSTRACT

In this work we investigate the effect of the convolutional network depth on its accuracy in the large-scale image recognition setting. Our main contribution is a thorough evaluation of networks of increasing depth using an architecture with very small (3x3) convolution filters, which shows that a significant improvement on the prior-art configurations can be achieved by pushing the depth to 16-19 weight layers. These findings were the basis of our ImageNet Challenge 2014 submission, where our team secured the first and the second places in the localisation and classification tracks respectively. We also show that our representations generalise well to other datasets, where they achieve state-of-the-art results. We have made our two best-performing ConvNet models publicly available to facilitate further research on the use of deep visual representations in computer vision.

연구 동기 및 목표

• 네트워크 깊이가 대규모 이미지 인식에서 정확도에 미치는 영향을 평가한다.
• 작은 3x3 합성곱 필터가 매우 깊은 네트워크를 구축할 수 있음을 보여준다.
• 학습/테스트 전략(스케일 변 variation, 다중 스케일 학습, 다중 자르 평가)과 다른 데이터셋으로의 일반화 여부를 평가한다.
• Further 연구를 촉진하기 위해 최상위 성능 모델을 공개한다.

제안 방법

• 고해상도 유지 보정을 위해 입력 크기 224x224를 고정하고 3x3 합성곱 필터와 1픽셀 패딩을 사용한다.
• 깊이가 11에서 19 가중치 층으로 증가하는 A–E의 다수의 합성곱 층을 쌓고, 각 맥스풀링 층 뒤에 커지는 작은 너비를 사용한다.
• 메모리와 계산을 줄이면서 성능을 유지하기 위해 더 깊은 네트워크에서 ReLU 활성화와 LRN을 피한다.
• SGD(배치 256, 모멘텀 0.9), L2 가중치 감소, 처음 두 개의 완전 연결층에 드롭아웃을 적용하고, 스케일 기반 데이터 증강 및 다중 스케일 학습을 수행한다.
• 테스트 시 완전 연결층을 합성곱 층으로 변환하여 전체 이미지에 대해 밀도 평가를 가능하게 하고 클래스 점수의 합풀링을 수행한다; 단일 스케일, 다중 스케일, 다중 자르 전략으로 평가하고, 정확도 향상을 위해 여러 모델을 앙상블한다.]
• research_questions: ["깊이를 11에서 19의 가중치 층으로 증가시켰을 때 ILSVRC-2012/2014에서 상위-1 및 상위-5 정확도에 어떤 영향을 미치는가?","깊이가 증가할 때 3x3 필터 스택이 더 큰 필터보다 이점을 제공하는가?","다중 스케일 및 다중 자르 평가로 학습 및 테스트하는 것이 최종 정확도에 어떤 영향을 미치는가?","학습된 매우 깊은 표현이 ImageNet을 넘어 다른 데이터셋에도 일반화될 수 있는가?","이 구조에 대해 단일 모델 Versus 앙상블의 성능 차이는 무엇인가?

실험 결과

연구 질문

• RQ1 깊이를 11에서 19의 가중치 층으로 증가시켰을 때 ILSVRC-2012/2014에서 상위-1 및 상위-5 정확도에 어떤 영향을 미치는가?
• RQ2 깊이가 증가할 때 3x3 필터 스택이 더 큰 필터보다 이점을 제공하는가?
• RQ3 다중 스케일 및 다중 자르 평가로 학습 및 테스트하는 것이 최종 정확도에 어떤 영향을 미치는가?
• RQ4 학습된 매우 깊은 표현이 ImageNet을 넘어 다른 데이터셋에도 일반화될 수 있는가?
• RQ5 이 구조에 대해 단일 모델 Versus 앙상블의 성능 차이는 무엇인가?

주요 결과

• 더 깊은 네트워크(가중치 층 19까지)가 얕은 네트워크에 비해 성능을 향상시킨다.
• ReLU가 있는 3x3 필터 스택은 동등하거나 더 큰 필터 아키텍처보다 우수하며, 1x1 합성곱을 추가하는 것은 비선형성을 제공하지만, 공간 맥락을 잃지 않고 더 깊은 3x3 스택에 비해 우수하지 않다.
• 학습 및 테스트 중의 스케일 재조정(다중 스케일 입력)은 고정 스케일 학습에 비해 상당한 정확도 향상을 가져온다.
• 밀도 평가와 다중 자르 평가는 상호 보완적이며, 모델 앙상블은 오류를 더 줄여 최상의 단일 모델에서 상위-5 테스트 오류 7.0%를 달성하고 앙상블 및 다중 자르로 6.8%를 달성한다.
• 이 접근법은 ILSVRC-2014 분류에서 2위를 차지했으며(상위-5 테스트 오류 7.3%), 이전의 여러 아키텍처를 능가했고 더 단순하고 더 깊은 설계로 GoogLeNet의 성능에 근접했다.
• 이 논문은 추가 연구를 촉진하기 위해 두 가지 최상위 모델을 공개했다.