[논문 리뷰] Residual Networks Behave Like Ensembles of Relatively Shallow Networks

Andreas Veit, Michael J. Wilber외 1명|arXiv (Cornell University)|2016. 05. 20.

Advanced Neural Network Applications참고 문헌 17인용 수 600

한 줄 요약

본 논문은 잔여 네트워크를 다양한 길이의 여러 경로 모음으로 재구성하고, 짧은 경로를 사용해 학습하며 이 경로들이 상호 의존성이 제한된 앙상블처럼 작동함을 보이고; 긴 경로는 학습 중 기울기에 거의 기여하지 않는다는 것을 보여준다.

ABSTRACT

In this work we propose a novel interpretation of residual networks showing that they can be seen as a collection of many paths of differing length. Moreover, residual networks seem to enable very deep networks by leveraging only the short paths during training. To support this observation, we rewrite residual networks as an explicit collection of paths. Unlike traditional models, paths through residual networks vary in length. Further, a lesion study reveals that these paths show ensemble-like behavior in the sense that they do not strongly depend on each other. Finally, and most surprising, most paths are shorter than one might expect, and only the short paths are needed during training, as longer paths do not contribute any gradient. For example, most of the gradient in a residual network with 110 layers comes from paths that are only 10-34 layers deep. Our results reveal one of the key characteristics that seem to enable the training of very deep networks: Residual networks avoid the vanishing gradient problem by introducing short paths which can carry gradient throughout the extent of very deep networks.

연구 동기 및 목표

• 단일 깊은 체인이 아니라 다수의 경로 모음으로 잔여 네트워크를 해체하여 본 새로운 시각을 제안한다.
• 잔여 네트워크 경로가 독립적이며 앙상블과 같은 거동을 보이는지 조사한다.
• 학습 중 기울기 흐름에 기여하는 경로 길이를 결정하고 이것이 매우 깊은 네트워크의 학습에 어떤 영향을 미치는지 분석한다.

제안 방법

• 잔여 네트워크를 해체하여 다양한 길이의 명시적 경로 모음으로 표현한다.
• 경로 독립성 및 앙상블 유사 거동을 테스트하기 위해 잔여 블록을 제거하거나 재배열하는 병변 연구를 수행한다.
• n블록 네트워크에서 경로 길이 분포를 분석하여 이항 분포가 중심이 n/2 근처임을 보여준다.
• 다른 길이의 경로에서 기울기 흐름을 측정하여 효과적인 학습 경로(짧은 경로)를 식별한다.
• 성능에 필요한 긴 경로의 필요성을 검증하기 위해 효과적인 경로만 사용해 네트워크를 재학습한다.

실험 결과

연구 질문

• RQ1 잔여 네트워크 경로가 서로 강하게 의존하는가, 아니면 중복성이 존재하는가?
• RQ2 잔여 경로 모음이 앙상블처럼 작동하여 경로가 추가되거나 제거될 때 성능이 매끄럽게 유지되는가?
• RQ3 매우 깊은 잔여 네트워크에서 학습 중 기울기 흐름에 가장 많이 기여하는 경로 길이는 무엇인가?
• RQ4 강한 성능을 달성하는 데 긴 경로가 필요한가, 아니면 짧은 효과적인 경로에 의존해 학습할 수 있는가?

주요 결과

• 잔여 네트워크에서 단일 잔여 모듈을 제거해도 성능에 미치는 영향이 최소하며, 전통적 네트워크에서와 다르게 성능이 급격히 떨어지지 않는다.
• 여러 모듈을 제거하거나 모듈의 순서를 바꾸면 오차가 점진적으로 증가하여 경로 모음의 앙상블 유사 거동을 시사한다.
• 대부분의 경로 길이는 이항 분포를 따르며, 다수의 경로가 네트워크 깊이의 절반 정도를 차지하지만 학습 중 기울기는 주로 짧은 경로에서 나오며(54블록 네트워크에서 대략 5–17 블록).
• 긴 경로는 기울기에 거의 기여하지 않으며 학습에 필요하지 않다; 효과적인 짧은 경로만으로 학습한 네트워크는 전체 모델과 유사한 성능을 달성한다.
• 다운샘플링 블록 제거는 미미한 영향을 주며, 잔여 네트워크가 단일 순차 경로가 아니라 여러 병렬 경로에 의존함을 시사한다.