[논문 리뷰] Highway and Residual Networks learn Unrolled Iterative Estimation

Klaus Greff, Rupesh K. Srivastava외 1명|arXiv (Cornell University)|2016. 12. 22.

Machine Learning and Algorithms인용 수 101

한 줄 요약

이 논문은 Highway와 Residual 네트워크를 한 단계 내에서 단일 표현의 언롤링된 반복 추정으로 재구성하고, 이 관점에서 두 아키텍처를 도출하며, 언어 모델링과 이미지 분류에서 실험적으로 비교한다.

ABSTRACT

The past year saw the introduction of new architectures such as Highway networks and Residual networks which, for the first time, enabled the training of feedforward networks with dozens to hundreds of layers using simple gradient descent. While depth of representation has been posited as a primary reason for their success, there are indications that these architectures defy a popular view of deep learning as a hierarchical computation of increasingly abstract features at each layer. In this report, we argue that this view is incomplete and does not adequately explain several recent findings. We propose an alternative viewpoint based on unrolled iterative estimation -- a group of successive layers iteratively refine their estimates of the same features instead of computing an entirely new representation. We demonstrate that this viewpoint directly leads to the construction of Highway and Residual networks. Finally we provide preliminary experiments to discuss the similarities and differences between the two architectures.

연구 동기 및 목표

• 매우 깊은 네트워크의 표현 중심 이해에 대한 대안적 관점을 제시한다.
• Stage 내에서 표현을 반복적으로 정제하는 메커니즘으로서 언롤링된 반복 추정을 도입한다.
• 반복 추정 관점에서 Residual 및 Highway 네트워크를 형식적으로 도출한다.
• 이미지 분류 및 언어 모델링 과제에서 Highway와 Residual 아키텍처를 실험적으로 비교한다.

제안 방법

• Stage 내의 블록을 단일 특징 표현의 반복 정제로 보는 관점에서 피처 아이덴티티를 층 간에 보존한다.
• 반복 추정 관점에서 피처 아이덴티티를 유지하는 제로-평균 잔차 블록으로 Residual 네트워크를 도출한다.
• 이전 추정과 새로운 변환의 최적 선형 조합으로 Highway 네트워크를 도출하여 결합 게이팅(H와 T)을 얻고 피처 아이덴티티를 보존한다.
• 추정 오차 메트릭을 통해 분석적·경험적 검증을 제공하고, Stage 간 추정 오차 및 시각화에 기반한 증거를 제시한다.
• ImageNet 및 언어 모델링 벤치마크에서 Highway 대 Residual 변형을 비교하는 사례 연구를 수행한다.

실험 결과

연구 질문

• RQ1 Highway와 Residual 네트워크를 단일 언롤링된 반복 추정 관점으로부터 도출할 수 있는가?
• RQ2 Stage 내의 블록이 새로운 추상화를 생성하기보다 단일 표현을 반복적으로 정제하는가?
• RQ3 이 프레임워크에서 컴퓨터 비전과 언어 과제에서 Highway와 Residual 아키텍처는 실제로 어떻게 비교되는가?
• RQ4 반복 추정이 학습 역학, 가지치기(pruning), 층 셔플링(layer shuffling) 등에 어떤 함의를 가지는가?
• RQ5 게이팅(변환과 운반)과 배치 정규화가 반복 추정 하에서 이들 아키텍처에서 어떤 역할을 하는가?

주요 결과

• Residual 네트워크는 Stage 내에서 층 간 잔차가 제로 평균일 때 피처 아이덴티티를 보존하는 것으로 해석될 수 있다.
• Highway 네트워크는 이전 추정과 새로운 변환의 최적 선형 조합으로 도출될 수 있으며, 피처 아이덴티티를 보존하는 결합 게이팅(H와 T)을 유도한다.
• 실험적 결과 ResNet이 ImageNet에서 Highway보다 약간 더 높은 top-5 정확도(7.17% 대 7.53%의 Highway 비교 시; Highway-Full의 7.29%)를 달성하는 반면, BN이 있는 Highway 변형은 격차를 줄일 수 있다.
• 언어 모델링 실험은 Full, Coupled, C-Only Highway 변형이 Residual 변형보다 더 나은 성능을 보이는 경향을 시사하며, 특정 작업에서 표현력 있는 게이팅의 중요성을 강조한다.
• 본 연구는 스테이지 내 피처가 층 간에 정제된다는 질적 및 시각적 근거를 제시하여 반복 추정 관점을 뒷받침한다.
• 레이어 드롭아웃 및 가끔의 레이어 재배열 효과가 반복 추정 하에서 앙상블-유사한 해석과 일치한다.