[논문 리뷰] Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning

Christian Szegedy, Sergey Ioffe외 2명|arXiv (Cornell University)|2016. 02. 23.

Domain Adaptation and Few-Shot Learning인용 수 200

한 줄 요약

해당 논문은 Inception-v4, Inception-ResNet-v1/v2 및 잔차 연결(residual connections)을 포함한 변형들을 평가하여 잔차가 학습 속도를 가속화하고 더 큰 모델이 더 나은 정확도를 낳으며, 앙상블이 ImageNet에서 최첨단 top-5 성능을 달성한다는 것을 보여준다.

ABSTRACT

Very deep convolutional networks have been central to the largest advances in image recognition performance in recent years. One example is the Inception architecture that has been shown to achieve very good performance at relatively low computational cost. Recently, the introduction of residual connections in conjunction with a more traditional architecture has yielded state-of-the-art performance in the 2015 ILSVRC challenge; its performance was similar to the latest generation Inception-v3 network. This raises the question of whether there are any benefit in combining the Inception architecture with residual connections. Here we give clear empirical evidence that training with residual connections accelerates the training of Inception networks significantly. There is also some evidence of residual Inception networks outperforming similarly expensive Inception networks without residual connections by a thin margin. We also present several new streamlined architectures for both residual and non-residual Inception networks. These variations improve the single-frame recognition performance on the ILSVRC 2012 classification task significantly. We further demonstrate how proper activation scaling stabilizes the training of very wide residual Inception networks. With an ensemble of three residual and one Inception-v4, we achieve 3.08 percent top-5 error on the test set of the ImageNet classification (CLS) challenge

연구 동기 및 목표

• Inception 아키텍처에 잔차 연결을 추가하는 것이 학습 속도와 최종 정확도를 개선하는지 여부를 조사한다.
• 경쟁력 있는 성능을 가진 Inception 기반 구조(Inception-v4 및 잔차 변형)를 개발한다.
• 매우 깊은 Inception 기반 네트워크에서 학습의 안정성과 확장성 문제를 평가한다.
• ImageNet(ILSVRC)에서 단일 모델 및 앙상블 성능을 평가하여 최첨단 결과를 확립한다.

제안 방법

• Inception 블록에서 잔차 연결을 사용하도록 Inception의 필터 연결(concatenation)을 대체한다.
• 동일한 문제 설정의 더 많은 Inception 모듈로 구성된 일관되고 간소화된 아키텍처의 Inception-v4를 도입한다.
• Inception-ResNet 변형에서 잔차 더하기 전에 차원을 맞추기 위해 필터 확장 계층을 사용한다.
• 네트워크 너비가 매우 커질 때 학습을 안정시키기 위해 잔차를 스케일한다.
• TensorFlow로 20개의 복제에서 RMSProp(감쇠 0.9, epsilon 1.0)으로 학습하되, 학습률 0.045를 매 두 에폭마다 지수 감소(0.94)로 조정한다.

실험 결과

연구 질문

• RQ1 잔차 연결이 비잔차 Inception 변형과 비교해 Inception 기반 네트워크의 학습 속도를 가속시키는가?
• RQ2 Inception-ResNet 변형이 비잔차 Inception 모델과 유사한 계산 비용에서 더 높은 성능을 발휘할 수 있는가?
• RQ3 모델 크기와 앙상블 방법이 ImageNet top-5 정확도에 미치는 영향은 무엇이며, 앙상블이 검증/테스트 세트에서 최첨단 결과를 달성하는가?

주요 결과

네트워크	Top-1 오류	Top-5 오류
BN-Inception	25.2%	7.8%
Inception-v3	21.2%	5.6%
Inception-ResNet-v1	21.3%	5.5%
Inception-v4	20.0%	5.0%
Inception-ResNet-v2	19.9%	4.9%
ResNet-151 (10 crops)	21.4%	5.7%
Inception-v3 (12 crops)	19.8%	4.6%
Inception-ResNet-v1 (12 crops)	19.8%	4.6%
Inception-v4 (12 crops)	18.7%	4.2%
Inception-ResNet-v2 (12 crops)	18.7%	4.1%
Inception-v3 (12 crops, 144 crops in Table 4)	18.9%	4.3%
Inception-ResNet-v1 (12 crops)	18.8%	4.3%
Inception-v4 (12 crops)	17.7%	3.8%
Inception-ResNet-v2 (12 crops)	17.8%	3.7%
Inception-v4 + 3x Inception-ResNet-v2 (ensemble, 144 crops)	16.5%	3.1%

• 잔차 Inception 네트워크는 유사 비용의 순수 Inception 등가물보다 학습 속도가 빠르다.
• 일부 구성에서 잔차 변형은 비잔차에 비해 비슷한 비용에서 최종 정확도가 약간 더 높다.
• Inception-ResNet-v2 및 Inception-v4는 동료들 중 단일 모델에서 선두의 top-5 오류를 제공하며, 앙상블의 경우 3.1%의 top-5 오류를 보고한다.
• Inception-v4와 Inception-ResNet-v2 모델 세 개의 네트워크를 결합한 앙상블은 ImageNet 테스트 세트에서 3.08%의 top-5 오류를 달성하여 당시 최첨단으로 간주되었다.
• 네트워크가 매우 넓어질 때 잔차 스케일링이 학습의 안정화를 돕는다(잔차 스케일링 계수 대략 0.1–0.3).
• 모델 크기를 키우면 다양한 변형에서 인식 성능이 향상되며, 앙상블의 절대 개선 폭이 단일 모델의 개선 폭을 능가한다.