[논문 리뷰] Multi-level Residual Networks from Dynamical Systems View

Bo Chang, Lili Meng외 3명|arXiv (Cornell University)|2017. 10. 27.

Advanced Neural Network Applications참고 문헌 24인용 수 68

한 줄 요약

본 논문은 ResNet을 동적 시스템으로 해석하고, 네트워크 깊이를 보간하며 스텝 크기를 절반으로 줄이는 다중 수준 학습 방법을 도입합니다. 표준 데이터셋에서 수준 높은 정확도를 유지하며 약 40%의 학습 시간 감소를 달성합니다.

ABSTRACT

Deep residual networks (ResNets) and their variants are widely used in many computer vision applications and natural language processing tasks. However, the theoretical principles for designing and training ResNets are still not fully understood. Recently, several points of view have emerged to try to interpret ResNet theoretically, such as unraveled view, unrolled iterative estimation and dynamical systems view. In this paper, we adopt the dynamical systems point of view, and analyze the lesioning properties of ResNet both theoretically and experimentally. Based on these analyses, we additionally propose a novel method for accelerating ResNet training. We apply the proposed method to train ResNets and Wide ResNets for three image classification benchmarks, reducing training time by more than 40% with superior or on-par accuracy.

연구 동기 및 목표

• 잔여 네트워크(residual networks)를 동적 시스템 관점에서 동기를 부여하고 분석하여 병변 효과와 강건성 특성을 설명합니다.
• 다중 격자(multi-grid) 아이디어에서 영감을 받은 실용적인 다중 수준 학습 방법을 제안하여 ResNet 학습 속도를 높입니다.
• 표준 이미지 분류 데이터셋에서 ResNet 및 Wide ResNet 아키텍처에 대한 방법의 효과를 입증합니다.

제안 방법

• ResNet을 암시적 스텝 크기 h를 갖는 이산화된 미분방정식(ODE)으로 모델링하고, 잔차 블록이 ODE 이산화의 시간 스텝에 해당하는 것을 보인다.
• 잔여 출력이 작을 때 블록 제거 또는 순서 변경이 영향이 제한적임을 설명하는 병변 분석을 수행한다.
• 다중 수준 학습 절차를 도입한다: 얕은 네트워크(큰 h)로 시작하고, 기존 블록 뒤에 블록을 삽입하여 보간한 뒤 h를 절반으로 줄이며 사이클을 반복한다.
• 깊은 모델 초기화를 위해 인접 블록 매개변수를 새로운 블록으로 복사해 가중치를 보간한다.
• 각 사이클 내에서 순환 학습률 스케줄을 사용하여 학습 성능을 유지한다.
• 이론적 시간 절약 추정치와 경험적 결과를 제시하여 학습 시간을 약 40% 감소시키고 정확도를 유지함을 보여준다.

실험 결과

연구 질문

• RQ1 동적 시스템 해석이 블록 제거나 재정렬에 대한 ResNet의 강인함을 어떻게 설명하는가?
• RQ2 다중 수준 보간 전략이 정확도를 저하시키지 않으면서 ResNet 학습 속도를 높일 수 있는가?
• RQ3 표준 벤치마크에서 ResNet 및 Wide ResNet에 다중 수준 학습을 적용할 때의 실제 학습 시간 절감과 정확도 트레이드오프는 무엇인가?

주요 결과

모델	블록	CIFAR-10 오차	CIFAR-10 시간	CIFAR-100 오차	CIFAR-100 시간	STL-10 오차	STL-10 시간
ResNet-14	2-2-2	9.75%	38m	33.34%	38m	27.78%	33m
ResNet-50	8-8-8	7.58%	114m	28.64%	115m	25.95%	114m
ResNet-50-i	2-2-2 to 8-8-8	7.10%	67m	28.71%	68m	25.98%	68m
ResNet-32	5-5-5	7.74%	76m	29.96%	74m	26.02%	71m
ResNet-122	20-20-20	6.47%	266m	26.74%	266m	25.16%	266m
ResNet-122-i	5-5-5 to 20-20-20	6.56%	154m	26.81%	154m	24.36%	162m
WResNet-14	2-2-2	7.38%	51m	27.92%	51m	24.58%	63m
WResNet-50	8-8-8	5.87%	174m	24.49%	173m	23.82%	222m
WResNet-50-i	2-2-2 to 8-8-8	5.95%	101m	24.92%	101m	22.82%	131m
WResNet-32	5-5-5	6.29%	111m	25.32%	111m	23.51%	136m
WResNet-122	20-20-20	5.38%	406m	23.11%	406m	22.00%	516m
WResNet-122-i	5-5-5 to 20-20-20	5.46%	239m	23.04%	237m	22.65%	307m

• 평균 잔차 노름은 블록 수의 역비례로 스케일링되며, 이는 동적 시스템 관점(G(Y_j) ~ T/d)과 일치한다.
• 병변 분석은 잔여 출력이 작을 때 블록 제거가 무시해도 될 정도의 영향을 미치며, 잔차가 특징 정제기로 작용한다는 점과 일치한다.
• 제안된 다중 수준 학습 방법은 CIFAR-10, CIFAR-100, STL-10 전반에서 ResNet 및 Wide ResNet의 학습 시간을 40% 이상 감소시키고 마지막 사이클 모델과 비교해 더 나은 또는 유사한 정확도를 달성한다.
• 보간 기반 깊이 확장은 더 깊은 모델을 효과적으로 초기화하며 세 단계의 사이클(예: 2-2-2 → 4-4-4 → 8-8-8, 또는 5-5-5 → 20-20-20)을 가능하게 한다.
• 이 방법은 테스트 오차를 경쟁력 있게 유지하면서 실제 wall-clock 시간을 크게 줄이며, ResNet 및 Wide ResNet 실험에서 이를 뒷받침한다.