[논문 리뷰] Study of Residual Networks for Image Recognition

Mohammad Sadegh Ebrahimi, Hossein Karkeh Abadi|arXiv (Cornell University)|2018. 04. 21.

Advanced Neural Network Applications인용 수 12

한 줄 요약

이 연구는 틴리 이미지넷 데이터셋에서 이미지 분류를 위한 잔차 신경망(ResNets)을 평가하며, 기울어짐 기울기 문제를 완화하는 스킵 연결 덕분에 동등한 평탄한 컨볼루션 신경망(ConvNets)에 비해 유의미하게 높은 정확도와 더 빠른 훈련 속도를 달성함을 보여준다. 그러나 모델들은 증가된 과적합을 보이며, 이는 드롭아웃과 확률적 데이터 증강을 통해 완화된다. 최고의 ResNet은 깊이가 더 깊은 평탄한 ConvNet의 36% 대비 49%의 검증 정확도를 기록한다.

ABSTRACT

Deep neural networks demonstrate to have a high performance on image classification tasks while being more difficult to train. Due to the complexity and vanishing gradient problem, it normally takes a lot of time and more computational power to train deeper neural networks. Deep residual networks (ResNets) can make the training process faster and attain more accuracy compared to their equivalent neural networks. ResNets achieve this improvement by adding a simple skip connection parallel to the layers of convolutional neural networks. In this project we first design a ResNet model that can perform the image classification task on the Tiny ImageNet dataset with a high accuracy, then we compare the performance of this ResNet model with its equivalent Convolutional Network (ConvNet). Our findings illustrate that ResNets are more prone to overfitting despite their higher accuracy. Several methods to prevent overfitting such as adding dropout layers and stochastic augmentation of the training dataset has been studied in this work.

연구 동기 및 목표

• 잔차 신경망(ResNets)과 평탄한 컨볼루션 신경망(ConvNets)의 틴리 이미지넷 데이터셋에서의 성능을 평가하기 위해.
• ResNets가 더 높은 정확도를 보임에도 불구하고 과적합이 발생하는 원인과 정도를 조사하기 위해.
• 드롭아웃과 같은 정규화 기법들이 ResNets에서 과적합을 줄이는 데 얼마나 효과적인지 평가하기 위해.
• ResNets와 동등한 ConvNet 대비 훈련 동역학(손실 및 정확도 곡선 포함)을 비교하기 위해.
• 제한된 데이터로 소규모 이미지 분류 작업에 최적의 아키텍처 구성 요건을 규명하기 위해.

제안 방법

• He 등(2016)에서 소개한 잔차 블록 구조를 기반으로 한 ResNet 아키텍처를 설계하였으며, 입력을 직접 잔차 블록의 출력에 더하는 스킵 연결을 포함한다.
• 12~21층의 다양한 ResNet 변종을 구현하였고, 필터 크기와 풀링 전략를 다양화하여 64×64 크기의 틴리 이미지넷 데이터셋에서 훈련하였다.
• 기준 성능 비교를 위해 깊이와 너비가 동일한 평탄한 ConvNet 모델을 구축하였다.
• 일관된 일반화 성능 향상을 위해 훈련 중에 무작위로 자르기 및 뒤집기와 같은 확률적 데이터 증강 기법을 적용하였다.
• 과적합을 줄이기 위해 최종 완전 연결층에 확률 p = 0.7인 드롭아웃 레이어를 통합하였다.
• 모든 모델을 동일한 에포크 수 동안 훈련하였으며, GPU 가속을 활용한 Torch 딥러닝 프레임워크를 사용하였다.

실험 결과

연구 질문

• RQ1 ResNets는 틴리 이미지넷 데이터셋에서 동등한 평탄한 ConvNets에 비해 정확도와 훈련 속도 측면에서 어떻게 비교되는가?
• RQ2 ResNets는 평탄한 ConvNets에 비해 과적합이 얼마나 심각한가? 이 현상의 원인은 무엇인가?
• RQ3 드롭아웃과 확률적 데이터 증강 기법은 ResNet 모델의 과적합을 얼마나 효과적으로 줄이는가?
• RQ4 얕은 네트워크에서 ResNets의 성능이 열악해지는가? 만약 그렇다면 그 이유는 무엇인가?
• RQ5 소규모 데이터셋에서 정확도와 일반화 성능의 최적 균형을 이루기 위해 ResNets에서 어떤 아키텍처 선택이 가장 효과적인가?

주요 결과

• 최고의 ResNet(Net 1)은 검증 정확도 49%와 훈련 정확도 72%를 기록하였으며, 이는 동등한 평탄한 ConvNet(Net 6)의 검증 정확도 36%와 훈련 정확도 43%를 크게 앞서는 성과이다.
• ResNets는 동등한 ConvNets 대비 최대 13% 더 빠른 훈련 속도를 보였으며, 훈련 중 손실 및 정확도 곡선에서 더 빠른 수렴이 관찰되었다.
• 최고의 ResNet의 경우 훈련 정확도와 검증 정확도의 차이가 23%로, 평탄한 ConvNet의 7%에 비해 뚜렷한 과적합을 보였다.
• 드롭아웃과 확률적 데이터 증강을 적용한 후, 최고의 ResNet에서 과적합 갭은 30%에서 23%로 감소하여 과적합이 부분적으로 완화됨을 확인하였다.
• 더 얕은 ResNet(파라미터 수가 적은 Net 3)는 과적합 갭을 16%로 줄였지만, 최고의 ResNet 대비 검증 정확도가 3% 하락하였다.
• 매우 얕은 네트워크(7층 및 9층)에서는 ResNets가 평탄한 ConvNets보다 성능이 열 劣하였으며, 깊이가 부족할 경우 잔차 연결이 성능에 악영향을 줄 수 있음을 시사한다.