[논문 리뷰] Relay Backpropagation for Effective Learning of Deep Convolutional Neural Networks

Li Shen, Zhouchen Lin외 1명|arXiv (Cornell University)|2015. 12. 18.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 깊이 있는 합성곱 신경망 훈련을 향상시키기 위해 보조 손실 분기를 삽입하여 기울기 경로를 단축하고 효과적인 정보를 유지하는 Relay Backpropagation를 제안한다. 이를 통해 일반화 성능을 향상시키고, ResNet-50를 사용하여 ImageNet 2012에서 상위 1 오차를 0.91% 감소시키며, ILSVRC 2015 장면 분류 도전 대회에서 1등을 달성하는 등 최첨단 성능을 달성한다.

ABSTRACT

Learning deeper convolutional neural networks becomes a tendency in recent years. However, many empirical evidences suggest that performance improvement cannot be gained by simply stacking more layers. In this paper, we consider the issue from an information theoretical perspective, and propose a novel method Relay Backpropagation, that encourages the propagation of effective information through the network in training stage. By virtue of the method, we achieved the first place in ILSVRC 2015 Scene Classification Challenge. Extensive experiments on two challenging large scale datasets demonstrate the effectiveness of our method is not restricted to a specific dataset or network architecture. Our models will be available to the research community later.

연구 동기 및 목표

• 매우 깊은 네트워크에서 백프로파게이션 중 효과적인 정보의 열화 문제를 해결하기 위해.
• 깊은 아키텍처에서 장거리 경로를 따라 덜 관련성이 있는 정보를 전파하는 데 악영향을 최소화하기 위해.
• 아키텍처의 대대적인 개편 없이도 깊이 있는 합성곱 신경망의 훈련 안정성과 일반화 성능을 향상시키기 위해.
• 다양한 데이터셋과 네트워크 아키텍처에서 이 방법의 효과성을 입증하기 위해.
• 재훈련이나 하이퍼파ram터 조정을 광범위하게 필요로 하지 않는 확장성 있고 즉시 적용 가능한 솔루션을 제공하기 위해.

제안 방법

• 네트워크가 세그먼트로 나뉘며, 중간 세그먼트 이후에 하나 이상의 보조 출력 모듈(손실 레이어 포함)이 삽입된다.
• 각 보조 분기에서는 메인 손실과 함께 최소화되는 손실을 계산하며, 이를 통해 기울기가 더 짧은 경로로 전파되도록 한다.
• 각 손실에서 온 기울기는 해당 세그먼트의 가장 낮은 레이어까지만 전파되며, 전파 깊이가 총 깊이보다 짧은 N 레이어로 제한된다 (N < 총 깊이).
• 실험에서 보조 손실의 가중치가 0.3으로 설정된 가중치 조합 손실을 사용한다.
• VGGNet, ResNet-50, Inception-v3에 대해 특정 중간 레이어(예: ResNet-50의 conv4_1에서 conv4_4까지)에 분기를 추가함으로써 이 방법을 적용한다.
• 이 프레임워크는 관련 없는 오차 신호를 줄이고 장거리 백프로파게이션에서 발생하는 노이즈를 감소시켜 최적화 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 백프로파게이션에서 기울기 경로를 단축시키면 깊은 네트워크에서 정보 흐름과 모델 성능이 향상되는가?
• RQ2 보조 손실 분기를 삽입하면 장거리 경로를 따라 전파되는 관련 없는 기울기의 악영향을 줄일 수 있는가?
• RQ3 Relay Backpropagation는 아키텍처 재설계 없이 다양한 네트워크 아키텍처에서 성능 향상을 이룰 수 있는가?
• RQ4 이 방법은 ImageNet과 Places2와 같은 대규모이고 도전적인 데이터셋에서 효과적인가?
• RQ5 이 방법은 잔차 연결이 있는 아키텍처 외에도 일반화 가능한가?

주요 결과

• Relay Backpropagation는 800만 개 이상의 이미지와 401개 클래스로 구성된 ILSVRC 2015 장면 분류 도전 대회에서 1등을 차지했다.
• ImageNet 2012에서 ResNet-50를 사용하여 상위 1 오차를 0.91% 감소시켰다 (21.17%에서 20.26%로), 상위 5 오차는 0.44% 감소시켰다 (5.37%에서 4.93%로).
• Inception-v3에서는 표준 백프로파게이션 대비 상위 1 오차를 0.66% 감소시키고 상위 5 오차를 0.46% 감소시켰다.
• ImageNet 2012에서 테스트 상위 5 오차가 4.03%로, ILSVRC 2015에서 보고된 최고의 단일 모델 결과를 초월했다.
• ResNet-50와 Inception-v3를 포함한 여러 아키텍처에서 일관된 성능 향상이 나타나, 특정 아키텍처를 초월한 일반화 능력을 입증했다.
• 잔차 연결이 있는 네트워크에서도 Relay BP가 성능 향상을 추가로 이끌 수 있음을 시사하며, 기울기 경로를 단축시키는 것이 정보 유지 능력을 향상시킨다는 것을 시사한다.