[논문 리뷰] Identity Mappings in Deep Residual Networks

Kaiming He, Xiangyu Zhang외 2명|arXiv (Cornell University)|2016. 03. 16.

Advanced Neural Network Applications참고 문헌 22인용 수 210

한 줄 요약

이 논문은 정체성 스킵 연결과 정체성 애프터 어드션 활성화가 매우 깊은 ResNet에서 직접적인 순방향 및 역전파 정보 전달을 가능하게 하는 메커니즘을 분석하고, pre-activation 잔차 유닛을 제안하며 CIFAR 및 ImageNet에서 극도로 깊은 네트워크의 학습 및 일반화 향상을 시연한다.

ABSTRACT

Deep residual networks have emerged as a family of extremely deep architectures showing compelling accuracy and nice convergence behaviors. In this paper, we analyze the propagation formulations behind the residual building blocks, which suggest that the forward and backward signals can be directly propagated from one block to any other block, when using identity mappings as the skip connections and after-addition activation. A series of ablation experiments support the importance of these identity mappings. This motivates us to propose a new residual unit, which makes training easier and improves generalization. We report improved results using a 1001-layer ResNet on CIFAR-10 (4.62% error) and CIFAR-100, and a 200-layer ResNet on ImageNet. Code is available at: https://github.com/KaimingHe/resnet-1k-layers

연구 동기 및 목표

• skip connections가 매우 깊은 잔차 네트워크에서 정보 전달을 촉진하는지 분석하고 동기를 제시한다.
• 다른 shortcut 유형과 활성화 배치가 최적화 및 일반화에 미치는 영향을 조사한다.
• 추가 후 정체(identity after addition) 활성화를 갖는 새로운 잔차 단위를 제안하여 최적화를 용이하게 하고 성능을 향상시킨다.
• CIFAR-10/100 및 ImageNet에서 초깍 네트워크에 대해 최첨단 또는 경쟁적인 결과를 보여준다.
• 최적화 용이성과 모델 용량의 균형을 맞추기 위한 깊은 ResNet 설계에 대한 실용적 가이드라인을 제공한다.

제안 방법

• 두 가지 identity 조건하에서 순방향 및 역방향 전파 특성을 도출한다: identity skip connection h(x)=x와 identity after-addition activation f(y)=y.
• 수학적 표현 및 애블레이션 실험을 사용하여 non-identity shortcut 구성요소(스케일링, 게이팅, 1x1 컨볼루션, dropout)의 효과를 분석한다.
• 가중치 층 앞에서 활성화 함수가 이동되어 애프터 어드(addition) 활성화가 본질적으로 identity가 되게 하는 pre-activation 잔차 유닛을 도입한다.
• ResNet-110/164/1001 구조와 CIFAR-10/100에서의 변형을 실험적으로 비교하고 ImageNet에서 ResNet-152/200 변형에서 비교한다.
• BN/ReLU 배치를 추가 또는 전.activation 대비 사전에 배치하는(pre-activation) 등의 학습 및 구성 가이드라인을 제공한다.
• 제안된 설계 선택을 뒷받침하기 위한 성능 지표와 학습 동역학을 보고한다.

실험 결과

연구 질문

• RQ1 정체성 스킵 연결과 정체성 after-addition 활성화가 깊은 ResNet에서 순방향 신호 전달에 어떤 영향을 미치는가?
• RQ2 비정체성 shortcut 구성요소(스케일링, 게이팅, 1x1 컨볼루션, dropout)가 최적화 및 일반화에 미치는 영향은 무엇인가?
• RQ3 pre-activation 잔차 유닛이 ultra-deep 네트워크의 학습과 일반화 개선을 가능하게 하는가?
• RQ4 활성화 배치 및 BN 타이밍(pre-activation vs post-activation)이 CIFAR-10/100 및 ImageNet에서의 성능에 어떤 영향을 미치는가?
• RQ5 훈련이 더 쉬우고 더 나은 정확도를 제공하는 매우 깊은 ResNet을 구성하기 위한 실용적 가이드라인은 무엇인가?

주요 결과

• 정체성 skip 연결과 정체성 after-addition 활성화는 계층 간 신호를 직접 전달할 수 있게 하여 최적화를 상당히 용이하게 한다.
• 비정체성 shortcut 구성요소는 일반적으로 정보 흐름을 저해하고 학습 역학이나 최종 성능을 악화시킨다.
• pre-activation 잔차 유닛(BN과 ReLU를 가중치 층 앞에 적용)으로 매우 깊은 네트워크(예: 1001 계층)의 학습이 가능하며 CIFAR-10/100에서 일반화가 향상되고 ImageNet에서 경쟁력 있는 결과를 얻는다.
• CIFAR-10에서 1001-layer ResNet은 테스트 오차 4.62%를 달성(전익 활성화 변형에서 최고 성능); CIFAR-10/100에서 pre-activation 모델은 일관되게 기본 대비 우수한 성능을 보인다(예: ResNet-1001 CIFAR-10: 4.92% baseline vs 4.89% ±0.14, CIFAR-100: 22.71% vs 22.68% ±0.22).
• ImageNet에서 pre-activation ResNet은 유사 아키텍처에 대해 원래 디자인보다 개선을 보였으며: ResNet-152 상위 1% 21.1% 대 21.3%의 차이, pre-activation으로 조정된 ResNet-200은 20.7% 상위 1% (320x320 테스트) 대 원래의 21.8%를 기록한다. 확장 시, pre-activation ResNet-200은 20.1% 상위 1% (scale+aspect 증강)와 4.8% 상위 5%에 도달한다.