[논문 리뷰] Deep Pyramidal Residual Networks with Separated Stochastic Depth

Yoshihiro Yamada, Masakazu Iwamura외 1명|arXiv (Cornell University)|2016. 12. 05.

Advanced Neural Network Applications참고 문헌 7인용 수 20

한 줄 요약

이 논문은 일반화 성능을 향상시키고 오차율을 낮추기 위해 PyramidNet에 분리된 확률적 깊이를 통합한 깊은 피라미드형 잔차 신경망인 PyramidSepDrop을 제안한다. 잔차 함수를 채널 증가 성분과 신원 유지 성분으로 분리하고, 각 성분에 대해 독립적인 확률적 깊이를 적용함으로써, CIFAR-100에서 16.18%의 오차율을 달성하였으며, 이는 PyramidNet(18.29%) 및 ResNeXt(17.31%)를 능가하는 성능이다. 이는 향상된 훈련 안정성과 정규화 덕분에 달성된 것으로, 우수한 성능을 입증한다.

ABSTRACT

On general object recognition, Deep Convolutional Neural Networks (DCNNs) achieve high accuracy. In particular, ResNet and its improvements have broken the lowest error rate records. In this paper, we propose a method to successfully combine two ResNet improvements, ResDrop and PyramidNet. We confirmed that the proposed network outperformed the conventional methods; on CIFAR-100, the proposed network achieved an error rate of 16.18% in contrast to PiramidNet achieving that of 18.29% and ResNeXt 17.31%.

연구 동기 및 목표

• 확률적 깊이와 PyramidNet을 조합하는 데 있어 이전에 정확도 향상을 이룰 수 없었던 한계를 해결하기 위해.
• 구조적 정규화를 통해 매우 깊은 네트워크에서의 기울기 소실 문제를 완화하고 잔차 학습을 향상시키기 위해.
• 새로운 아키텍처 설계를 통해 깊은 잔차 신경망의 일반화 능력과 훈련 안정성을 향상시키기 위해.
• PyramidNet과 ResDrop이라는 두 가지 성공적인 ResNet 개선 기법을 통합하여 CIFAR-100에서 최고 성능을 달성하기 위해.

제안 방법

• 제안된 방법인 PyramidSepDrop은 두 개의 병렬 경로를 가진 잔차 블록을 도입한다: 상단 경로는 채널 확장을 위한 것이고, 하단 경로는 입력 채널 차원을 유지하기 위한 것이다.
• 확률적 깊이는 두 경로에 대해 독립적으로 적용되어, 훈련 중에 잔차 블록을 무작위로 제거하면서도 신원 매핑을 유지한다.
• 잔차 함수는 두 성분으로 분리된다: 하나는 채널 증가를 위한 것이고, 다른 하나는 신원 유사 스킵 연결을 위한 것이다. 이는 기울기 흐름을 향상시킨다.
• 네트워크는 블록당 채널 증가를 제어하기 위해 깊이에 따라 조정되는 스케일링 인자 α = 5*(depth−2)/6를 사용한다. 이는 점진적인 확장을 보장한다.
• 훈련을 향상시키기 위해 다중 모델 학습 기법을 활용한다. 이는 미니배치를 동기화된 파rameter를 가진 여러 모델 간에 분할하여 처리하는 방식이다.
• 사망률과 α와 같은 하이퍼파ram터는 PyramidNet과 ResDrop의 기준에 따라 깊이와 정규화의 균형을 맞추기 위해 튜닝된다.

실험 결과

연구 질문

• RQ1 확률적 깊이를 PyramidNet과 효과적으로 조합하여 일반화 능력을 향상시키고 오차율을 낮출 수 있는가?
• RQ2 채널 증가와 신원 매핑을 위한 별도의 경로로 잔차 함수를 분리하면 훈련 안정성과 성능 향상에 기여하는가?
• RQ3 초기 PyramidNet과 확률적 깊이의 조합(PyramidDrop)이 정확도 향상을 이룰 수 없었던 이유는 무엇이며, 이를 어떻게 보완할 수 있는가?
• RQ4 다중 모델 학습은 기존 훈련 방식에 비해 PyramidSepDrop의 성능에 어떤 영향을 미치는가?
• RQ5 CIFAR-100에서 최소 오차율을 달성하기 위해 최적의 깊이와 모델 수는 얼마인가?

주요 결과

• PyramidSepDrop은 CIFAR-100에서 16.18%의 오차율을 기록하여, PyramidNet(18.29%) 및 ResNeXt(17.31%)를 뛰어넘는 성능을 보였다.
• 초기 PyramidNet과 확률적 깊이의 조합(PyramidDrop)은 정확도 향상을 이룰 수 없었으며, 오차율이 PyramidNet(18.29%)보다 약간 악화된 18.30%를 기록했다.
• 모델 수를 4로 설정했을 때, 레이어 수를 110에서 182로 늘임에 따라 CIFAR-100 오차율은 17.53%에서 16.33%로 감소했다.
• 다중 모델 학습에서 16개의 모델을 사용함으로써 CIFAR-100 오차율은 16.18%로 감소했으며, 이는 PyramidSepDrop이 PyramidNet보다 분산 훈련에 더 큰 이점을 얻음을 보여준다.
• 깊이가 증가할수록 오차율이 계속 감소하는 경향을 보였으며, 이는 분리된 확률적 깊이를 가진 더 깊은 네트워크가 더 효과적임을 시사한다.
• 오차율이 모델 수와 깊이가 증가함에 따라 감소하는 경향을 보이며, 향상된 훈련 역학이 입증되었다.