[논문 리뷰] FractalNet: Ultra-Deep Neural Networks without Residuals

Gustav Larsson, Michael Maire외 1명|arXiv (Cornell University)|2016. 05. 24.

Anomaly Detection Techniques and Applications참고 문헌 34인용 수 618

한 줄 요약

FractalNet은 잔류 연결 없이 초깊은 네트워크를 위한 자기 유사한 프랙탈 매크로 아키텍처를 제시하고, CIFAR와 ImageNet에서 ResNet과 경쟁력 있는 성능을 달성하며, 고깊이 서브네트워크와 언제든지 예측을 가능하게 하는 정규화 기법으로 drop-path를 도입한다.

ABSTRACT

We introduce a design strategy for neural network macro-architecture based on self-similarity. Repeated application of a simple expansion rule generates deep networks whose structural layouts are precisely truncated fractals. These networks contain interacting subpaths of different lengths, but do not include any pass-through or residual connections; every internal signal is transformed by a filter and nonlinearity before being seen by subsequent layers. In experiments, fractal networks match the excellent performance of standard residual networks on both CIFAR and ImageNet classification tasks, thereby demonstrating that residual representations may not be fundamental to the success of extremely deep convolutional neural networks. Rather, the key may be the ability to transition, during training, from effectively shallow to deep. We note similarities with student-teacher behavior and develop drop-path, a natural extension of dropout, to regularize co-adaptation of subpaths in fractal architectures. Such regularization allows extraction of high-performance fixed-depth subnetworks. Additionally, fractal networks exhibit an anytime property: shallow subnetworks provide a quick answer, while deeper subnetworks, with higher latency, provide a more accurate answer.

연구 동기 및 목표

• 초깊은 CNN을 학습하는 데 명시적 잔류 연결이 필수적인지 여부를 제기한다.
• 패스-스루 신호 없이 다수의 서브패스를 상호 교차시키는 자기 유사한 프랙탈 매크로 아키텍처를 제안한다.
• 상호적응(co-adaptation)을 방지하고 고성능 서브네트워크를 가능하게 하기 위해 drop-path 정규화를 도입한다.
• Fractal 네트워크가 CIFAR, SVHN, 및 ImageNet에서 ResNet 성능에 근접함을 시연하고, 언제든지 동작하는 특성을 보인다.
• 깊은 감독(deep supervision) 및 student-teacher 학습과 같은 개념 간의 연결을 탐구한다.

제안 방법

• f_C를 확장 규칙 f_{C+1}(z) = [(f_C ∘ f_C)(z)] ⊕ [conv(z)]로 잘린 프랙탈로 정의한다.
• 병렬 서브패스에서 입력을 평균하는 합류 층 ⊕를 사용하고, 경로-통과나 특권적 잔류 신호가 없도록 한다.
• 로컬 또는 글로벌로 join 층의 입력을 drop하여 적어도 한 경로가 남도록 하는 drop-path로 정규화한다; 로컬 및 글로벌 샘플링의 혼합은 다양한 서브네트워크를 촉진한다.
• SGD(모멘텀)와 배치 정규화를 사용해 학습하고; Xavier 초기화; 다양한 수준의 데이터 증강(+, ++)을 적용한다.
• 프랙탈 네트워크에서 plain 단일 열 서브네트워크를 추출할 수 있음을 보여주며, 이는 고성능 서브네트워크로 작동한다.
• 얕은 서브네트워크가 빠르고 합리적으로 정확한 예측을 제공하고, 더 깊은 서브네트워크가 정확도를 높이는 anytime 동작을 조사한다.

실험 결과

연구 질문

• RQ1 초깊은 CNN을 학습하는 데 명시적 잔류 학습 메커니즘이 필요한가, 아니면 자기 유사한 프랙탈 아키텍처가 유사한 성능을 달성할 수 있는가?
• RQ2 drop-path 정규화가 학습, 일반화 및 프랙탈 네트에서 고성능 서브네트워크의 등장에 어떤 영향을 미치는가?
• RQ3 잔류 연결 없이 다수의 깊이 경로를 활용하여 프랙탈 네트워크가 언제든지 예측을 제공할 수 있는가?
• RQ4 깊은 아키텍처에서 프랙탈 네트워크와 깊은 감독(deep supervision) 및 student-teacher 학습과 같은 현상 간의 연관성은 무엇인가?

주요 결과

• FractalNet은 CIFAR와 ImageNet에서 ResNet 성능과 일치하며, 일부 설정에서 증강 없이도(예: CIFAR 결과가 ResNet 벤치마크에 근접) 성능을 달성한다.
• 데이터 증강을 사용하면 ImageNet에서 FractalNet-34의 Top-1 오탐률이 24.12%를 기록한다(대비 ResNet-34의 24.19%).
• FractalNet의 깊이 확장은 정확도를 향상시키며, 매우 깊은 구성(예: 40/80/160)은 성능을 유지하거나 향상시키는 반면, 일반 심층 네트는 수렴에 실패하는 경우가 많다.
• Drop-path 정규화는 CIFAR-100 결과를 크게 향상시키며(예: 35.34%에서 28.20% 오차로), 강력한 서브네트워크 추출을 가능하게 한다(단일 열의 일반 네트워크를 포함한다).
• FractalNet은 언제든지 동작하는 특성을 가능하게 한다: 얕은 서브네트워크는 빠르고 비교적 정확한 예측을 제공하고, 더 깊은 서브네트워크는 더 높은 정확도를 제공한다.
• 추출된 더 깊은 서브네트워크는 전체 프랙탈 대안과 비견될 만큼의 성능을 낼 수 있으며, 프랙탈 프레임워크를 효과적인 학습 엔진이자 아키텍처로 입증한다.