[논문 리뷰] Residual Networks are Exponential Ensembles of Relatively Shallow Networks.

Andreas Veit, Michael J. Wilber외 1명|arXiv (Cornell University)|2016. 05. 20.

Cell Image Analysis Techniques참고 문헌 14인용 수 78

한 줄 요약

이 논문은 잔차 연결 네트워크(ResNets)가 전체 깊이를 통해 기울기를 유지하는 것이 아니라, 비교적 浅층 네트워크의 지수적 앙상블으로 작동한다는 점을 드러낸다. 대규모 손상 연구를 통해 테스트 시점에서 이러한 앙상블 행동이 확인되었으며, 대부분의 기울기 흐름이 짧은 네트워크(10–34층)에서 유래함을 보여, 깊이보다는 암묵적 다수성(내부 앙상블의 크기)이 더 중요함을 시사한다. 이는 잔차 학습에 대한 전통적 관점에 도전한다.

ABSTRACT

In this work, we introduce a novel interpretation of residual networks showing they are exponential ensembles. This observation is supported by a large-scale lesion study that demonstrates they behave just like ensembles at test time. Subsequently, we perform an analysis showing these ensembles mostly consist of networks that are each relatively shallow. For example, contrary to our expectations, most of the gradient in a residual network with 110 layers comes from an ensemble of very short networks, i.e., only 10-34 layers deep. This suggests that in addition to describing neural networks in terms of width and depth, there is a third dimension: multiplicity, the size of the implicit ensemble. Ultimately, residual networks do not resolve the vanishing gradient problem by preserving gradient flow throughout the entire depth of the network - rather, they avoid the problem simply by ensembling many short networks together. This insight reveals that depth is still an open research question and invites the exploration of the related notion of multiplicity.

연구 동기 및 목표

• 잔차 네트워크의 표준 아키텍처 기술을 넘어서, 그 암묵적 앙상블 성격에 초점을 맞춰 재해석하기.
• ResNets가 테스트 시점에서 앙상블처럼 행동하는가, 특히 기울기 기여 측면에서 그러한가를 조사하기.
• 앙상블 내 개별 네트워크의 효과적 깊이를 규명하여 전체 깊이를 통해 기울기 흐름이 유지된다는 가정에 도전하기.
• 기존의 폭과 깊이와 함께 모델 성능을 결정하는 데 새로운 차원으로서의 다수성(암묵적 앙상블 크기)의 역할 탐색하기.

제안 방법

• 잔차 블록을 체계적으로 제거하여 테스트 정확도에 미치는 영향을 측정함으로써 앙상블 행동를 시뮬레이션하는 대규모 손상 연구 수행.
• 개별 잔차 블록이 전체 기울기 기여에 기여하는 정도를 측정함으로써 네트워크 내 기울기 흐름 분석.
• 각 경로가 다른 잔차 블록 조합에 해당하는 얕은 하위네트워크의 지수적 앙상블로 ResNets 모델링.
• 제거 및 기울기 할당을 통해 특히 짧은 경로에 초점을 맞춰 최종 예측에 가장 기여하는 하위네트워크 식별.
• 많은 얕은 네트워크의 곱셈적 조합이 효과적 모델 용량을 만들어내는 주장에 대한 이론적 및 실증적 근거 도출.

실험 결과

연구 질문

• RQ1 잔차 네트워크는 테스트 시점에서 앙상블처럼 행동하는가? 만약 그렇다면, 이러한 앙상블의 성격은 무엇인가?
• RQ2 ResNet 앙상블 내 개별 네트워크의 효과적 깊이는 얼마이며, 전체 네트워크 깊이와 비교해 볼 때 어떻게 되는가?
• RQ3 심층 ResNets에서 기울기 흐름이 전체 깊이가 아닌 매우 짧은 하위네트워크에서 얼마나 많은 비중을 차지하는가?
• RQ4 기존의 폭과 깊이와 비교해 볼 때, 다수성(암묵적 앙상블 크기)은 모델 성능을 결정하는 데 어떤 영향을 미치는가?

주요 결과

• 대규모 손상 연구를 통해 테스트 시점에서 ResNets가 얕은 네트워크의 지수적 앙상블로 작동한다는 것이 확인되었다.
• 110층의 ResNet에서 기울기 흐름의 대부분은 전체 깊이가 아닌 10~34층의 하위네트워크에서 기인한다.
• 효과적 모델 용량은 깊은 단일 경로 계산이 아니라, 많은 수의 짧고 얕은 경로에 의해 지배된다.
• ResNets는 전체 깊이를 따라 기울기 흐름을 유지함으로써 기울기 소실 문제를 해결하지 않으며, 오히려 많은 짧은 네트워크를 암묵적으로 앙상블함으로써 이를 피한다.
• 암묵적 앙상블 크기인 다수성 개념은 이전에 간과되었던 신경망 설계의 핵심적 차원으로 부상한다.