[논문 리뷰] Learning Deep ResNet Blocks Sequentially using Boosting Theory

Furong Huang, Jordan T. Ash외 2명|arXiv (Cornell University)|2017. 06. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 31

한 줄 요약

이 논문은 깊이 있는 ResNet 아키텍처를 위한 새로운 훈련 알고리즘인 BoostResNet을 제안한다. 이 알고리즘은 다중 채널 축소 합 부스팅 프레임워크를 사용해 잔차 블록을 순차적으로 훈련한다. 약한 학습 조건 하에서 깊이에 따라 오차가 지수적으로 감소함을 증명하였으며, 전체 역전파와 비교해 뛰어난 계산 효율성과 비슷하거나 더 높은 정확도를 달성한다. 특히 미분 불가능한 환경에서 뛰어난 성능을 보인다.

ABSTRACT

Deep neural networks are known to be difficult to train due to the instability of back-propagation. A deep \emph{residual network} (ResNet) with identity loops remedies this by stabilizing gradient computations. We prove a boosting theory for the ResNet architecture. We construct $T$ weak module classifiers, each contains two of the $T$ layers, such that the combined strong learner is a ResNet. Therefore, we introduce an alternative Deep ResNet training algorithm, \emph{BoostResNet}, which is particularly suitable in non-differentiable architectures. Our proposed algorithm merely requires a sequential training of $T$ "shallow ResNets" which are inexpensive. We prove that the training error decays exponentially with the depth $T$ if the \emph{weak module classifiers} that we train perform slightly better than some weak baseline. In other words, we propose a weak learning condition and prove a boosting theory for ResNet under the weak learning condition. Our results apply to general multi-class ResNets. A generalization error bound based on margin theory is proved and suggests ResNet's resistant to overfitting under network with $l_1$ norm bounded weights.

연구 동기 및 목표

• 전체 역전파의 계산 및 메모리 부담을 피하면서 깊이 있는 ResNet 아키텍처를 위한 이론적으로 탄탄하고 효율적인 훈련 알고리즘을 개발하기.
• 예측 레이블이 아닌 학습된 표현(특징)을 기반으로 작동하는 딥 러닝을 위한 새로운 부스팅 이론을 수립하기.
• 약한 학습 조건 하에서 얕은 ResNets의 순차적 훈련이 깊이가 증가함에 따라 훈련 오차가 지수적으로 감소함을 증명하기.
• 마진 이론을 바탕으로 일반화 오차 경계를 도출하여, l1-가중치 제약 조건 하에서 과적합에 대한 강건성을 제안하기.
• BoostResNet이 훈련 속도와 메모리 효율성에서 전체 역전파를 능가하면서도 테스트 정확도를 유지하거나 향상시킬 수 있음을 보여주기.

제안 방법

• ResNet의 계층적 특징 변환을 약한 학습기의 시퀀스로 모델링하기 위해 다중 채널 축소 합 부스팅 프레임워크를 도입한다.
• 각 잔차 블록을 한 번에 하나씩 순차적으로 훈련하고, 마진 기반 손실을 사용해 약한 학습 오ракulum을 통해 모델을 업데이트하는 BoostResNet 알고리즘을 제안한다.
• 예측 오차에 따라 적응하는 동적 비용 함수를 사용하며, 감마 임계값을 통한 샘플 재가중을 유도해 일반화 성능을 향상시킨다.
• 각 블록이 랜덤 추측보다 略으로 더 잘 수행해야 하는 약한 학습 조건(γt > 0)을 도입하여 깊이에 따라 오차가 지수적으로 감소함을 보장한다.
• 마진 이론에서 유도된 일반화 오차 경계를 적용하여, l1-정규화된 가중치가 과적합을 방지하는 데 기여함을 보여준다.
• BoostResNet 훈련 후 전체 역전파를 사용해 정밀도를 추가로 향상시키기 위한 정련 단계를 통합한다.

실험 결과

연구 질문

• RQ1 예측 레이블이 아닌 학습된 표현(특징)을 기반으로 작동하는 딥 뉴럴 네트워크를 위한 부스팅 이론을 개발할 수 있는가?
• RQ2 약한 학습 조건 하에서 얕은 잔차 블록을 순차적으로 훈련하면 깊은 ResNets에서 오차가 지수적으로 감소하는가?
• RQ3 부스팅 기반 훈련 알고리즘이 깊은 네트워크에서 전체 역전파보다 더 뛰어난 계산 효율성과 메모리 사용을 달성할 수 있는가?
• RQ4 BoostResNet의 일반화 오차는 깊이에 따라 어떻게 변화하는가? 그리고 l1 정규화는 과적합 방지에 어떤 역할을 하는가?
• RQ5 BoostResNet은 텐서 분해나 기타 스펙트럼 학습 방법을 사용하는 비미분 가능 아키텍처에 효과적으로 적용될 수 있는가?

주요 결과

• BoostResNet은 각 잔차 블록이 약한 학습 조건(γt > 0)을 만족할 경우 깊이 T가 증가함에 따라 훈련 오차가 지수적으로 감소한다.
• SVHN 데이터셋에서 BoostResNet은 오직 3×10⁸개의 그래디언트 업데이트만으로 93.8%의 테스트 정확도를 달성했으며, 동일 조건에서 전체 역전파(e2eBP)는 83%에 그친다.
• CIFAR-10에서 BoostResNet은 전체 역전파보다 빠르게 수렴하며, 전체 역전파로 정련된 후에는 최적의 ResNet 아키텍처를 사용하지 않아도 유사한 테스트 정확도를 달성한다.
• BoostResNet의 메모리 사용은 크게 감소한다. GPU 메모리에 동시에 저장되는 잔차 블록은 오직 하나뿐이며, 이로 인해 GPU 메모리 요구량이 네트워크 깊이에 비례해 감소한다.
• 알고리즘은 전체 역전파보다 계산적으로 더 효율적이며, 계층별 최적화를 통해 전체 그래디언트 업데이트 횟수가 훨씬 적게 소요된다.
• 마진 이론에서 도출된 일반화 오차 경계는 l1-정규화된 가중치가 BoostResNet에서 과적합에 대한 강건성을 향상시킨다는 것을 시사한다.