[논문 리뷰] Multi-Residual Networks.

Masoud Abdi, Saeid Nahavandi|arXiv (Cornell University)|2016. 09. 19.

Adversarial Robustness in Machine Learning참고 문헌 13인용 수 16

한 줄 요약

이 논문은 잔차 블록 내 잔차 함수의 수를 늘림으로써 딥 잔차 네트워크를 향상시키는 다중 잔차 네트워크를 제안한다. 이를 통해 모델은 향상된 일반화 능력과 분류 정확도를 달성하며, CIFAR-10에서 테스트 오차를 3.92%로 낮추어 이전의 모든 모델을 능가한다. 이는 딥 잔차 네트워크가 설계상 지수적 앙상블으로 기능한다는 것을 보여준다.

ABSTRACT

In this article, we take one step toward understanding the learning behavior of deep residual networks, and supporting the hypothesis that deep residual networks are exponential ensembles by construction. We examine the effective range of ensembles by introducing multi-residual networks that significantly improve classification accuracy of residual networks. The multi-residual networks increase the number of residual functions in the residual blocks. This is shown to improve the accuracy of the residual network when the network is deeper than a threshold. Based on a series of empirical studies on CIFAR-10 and CIFAR-100 datasets, the proposed multi-residual network yield $6\%$ and $10\%$ improvement with respect to the residual networks with identity mappings. Comparing with other state-of-the-art models, the proposed multi-residual network obtains a test error rate of $3.92\%$ on CIFAR-10 that outperforms all existing models.

연구 동기 및 목표

• 딥 잔차 네트워크의 학습 행동을 조사하고, 이들이 설계상 지수적 앙상블로 기능한다는 가설을 검증한다.
• 특정 깊이 임계값을 초과하는 매우 깊은 잔차 네트워크에서 발생하는 정확도 저하 문제를 해결한다.
• 아키텍처 혁신을 통해 CIFAR-10 및 CIFAR-100과 같은 표준 벤치마크에서 분류 성능을 향상시킨다.
• 블록당 잔차 함수의 수를 늘임으로써 모델 표현력과 일반화 능력이 향상됨을 경험적으로 입증한다.

제안 방법

• 단일 잔차 함수 대신 다수의 잔차 함수를 포함하도록 잔차 블록을 수정하여 다중 잔차 네트워크를 도입한다.
• 다중 스킵 연결과 병렬 잔차 경로를 설계하여 효과적인 앙상블 크기를 증가시킨다.
• 표준 최적화 프로토콜을 사용하여 CIFAR-10 및 CIFAR-100 데이터셋에 대해 해당 아키텍처를 훈련시킨다.
• 정규 잔차 네트워크와 아이덴티티 매핑, 최신 기술 모델과의 성능을 비교한다.
• 효과적인 앙상블 행동의 범위를 평가하기 위해 경험적 분석을 수행한다.
• 잔차 함수 수가 깊은 아키텍처에서 일반화 및 수렴에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 딥 잔차 네트워크가 지수적 앙상블로 얼마나 잘 작동하는가? 그리고 아키텍처적 변화로 이를 향상시킬 수 있는가?
• RQ2 블록당 잔차 함수의 수를 늘일 경우, 매우 깊은 네트워크에서 분류 정확도에 어떤 영향을 미치는가?
• RQ3 다중 잔차 블록의 성능 향상이 유의미해지는 깊이 임계값은 어느 정도인가?
• RQ4 다중 잔차 네트워크는 기존 모델 대비 CIFAR-10 및 CIFAR-100에서 최고 성능을 달성할 수 있는가?
• RQ5 잔차 네트워크가 설계상 지수적 앙상블임을 뒷받침하는 경험적 증거는 무엇인가?

주요 결과

• 제안된 다중 잔차 네트워크는 CIFAR-10에서 테스트 오차율 3.92%를 기록하여 기존의 모든 모델을 능가한다.
• CIFAR-100에서는 아이덴티티 매핑을 사용하는 표준 잔차 네트워크 대비 정확도에서 10% 향상을 달성한다.
• 네트워크 깊이가 특정 임계값을 초과할 경우 성능 향상이 가장 두드러지며, 이는 깊이에 따라 달라지는 이점임을 시사한다.
• 성능 향상은 증가된 잔차 함수 수 덕분에 효과적인 앙상블 용량이 향상되었기 때문이며, 이는 이론적 기반을 지닌다.
• 경험적 결과는 잔차 네트워크가 설계상 지수적 앙상블임을 뒷받침하며, 다중 잔차 네트워크가 이러한 행동을 더욱 강화함을 보여준다.
• 이 방법은 모델 복잡도를 과도하게 증가시키지 않으면서도, 특히 더 깊은 아키텍처에서 일반화 능력을 크게 향상시킨다.