[논문 리뷰] Characterizing signal propagation to close the performance gap in unnormalized ResNets

Andrew Brock, Soham De외 1명|arXiv (Cornell University)|2021. 01. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 72인용 수 21

한 줄 요약

이 논문은 배치 정규화 또는 기타 정규화 레이어 없이도 ImageNet 성능을 최첨단 수준으로 달성하는 정규화 불필요한 깊은 ResNet 아키텍처를 제안한다. 신호 전파 플롯(Signal Propagation Plots)과 스케일드 웨이트 표준화(Scaled Weight Standardization)를 도입함으로써, ReLU/Swish 네트워크에서의 신호 성장 안정화를 달성하여, 깊이가 288층에 이르는 네트워크가 다양한 FLOP 예산에서 배치 정규화가 적용된 ResNet 성능을 따라하거나 초월할 수 있도록 한다.

ABSTRACT

Batch Normalization is a key component in almost all state-of-the-art image classifiers, but it also introduces practical challenges: it breaks the independence between training examples within a batch, can incur compute and memory overhead, and often results in unexpected bugs. Building on recent theoretical analyses of deep ResNets at initialization, we propose a simple set of analysis tools to characterize signal propagation on the forward pass, and leverage these tools to design highly performant ResNets without activation normalization layers. Crucial to our success is an adapted version of the recently proposed Weight Standardization. Our analysis tools show how this technique preserves the signal in networks with ReLU or Swish activation functions by ensuring that the per-channel activation means do not grow with depth. Across a range of FLOP budgets, our networks attain performance competitive with the state-of-the-art EfficientNets on ImageNet.

연구 동기 및 목표

• 정규화 레이어를 사용하지 않고도 정규화된 ResNets와 비정규화된 ResNets 간의 성능 격차를 해소하기 위해.
• ReLU/Swish 비선형성으로 인해 깊이가 증가할수록 활성화 평균이 증가하는 비정규화된 ResNets의 실패 모드를 규명하고 해결하기 위해.
• 정규화 레이어 없이도 ImageNet에서 최첨단 성능을 달성하는 깊은 정규화 불필요한 ResNets를 위한 일반화된 방법론을 개발하기 위해.
• 이 방법론이 세그멘테이션 및 깊이 추정과 같은 후속 작업으로까지 일반화 가능함을 보여주기 위해.

제안 방법

• 깊은 잔차 네트워크의 초기화 단계에서 신호 동역학을 시각화하고 분석하기 위해 신호 전파 플롯(Signal Propagation Plots, SPPs)을 도입한다.
• 정규화되지 않은 ResNets에서 가우시안 가중치를 가진 ReLU/Swish 네트워크에서 평균 활성화 성장이 성능 저하를 유발함을 규명한다.
• 깊이에 따라 신호 평균 성장 방지를 통해 안정성을 높이는 스케일드 웨이트 표준화(Scaled Weight Standardization)를 제안한다 — 이는 웨이트 표준화의 변형이다.
• 표준 ResNets와 RegNets에 스케일드 웨이트 표준화를 적용하고 복합 스케일링을 결합하여 정규화 불필요 모델을 구축한다.
• 잔차 브랜치를 0으로 초기화하고, 정규화되지 않은 신경망에서 신뢰성 있는 신뢰성 함수 유지에 기여하는 가속도 스케일러를 사용한다.
• 추가 정규화 없이 표준 훈련 프로토콜을 사용하여 ImageNet, Pascal VOC 세그멘테이션, NYU Depth v2에서 성능을 검증한다.

실험 결과

연구 질문

• RQ1 딥 훈련 능력은 있지만 ReLU나 Swish 활성화 함수를 사용하는 비정규화된 ResNets가 배치 정규화된 대안보다 성능이 열 劣하는 이유는 무엇인가?
• RQ2 비정규화된 ResNets에서 초기화 단계에서의 신호 전파를 어떻게 진단하고 제어할 수 있으며, 이를 통해 배치 정규화 성능에 도달할 수 있는가?
• RQ3 스케일드 웨이트 표준화가 평균 활성화 성장을 효과적으로 안정화시키고, 정규화 레이어 없이도 고정밀도 훈련을 가능하게 할 수 있는가?
• RQ4 다양한 아키텍처와 FLOP 예산에서 정규화 불필요한 ResNets가 최첨단 성능을 얼마나 잘 달성할 수 있는가?
• RQ5 정규화 불필요한 모델이 세그멘테이션 및 깊이 추정과 같은 후속 비전 작업으로 얼마나 잘 일반화되는가?

주요 결과

• 스케일드 웨이트 표준화가 깊은 ReLU/Swish 네트워크에서 활성화 평균 성장을 효과적으로 방지하여, 비정규화된 ResNets의 핵심 실패 모드를 해결한다.
• 제안된 정규화 불필요한 ResNets는 다양한 FLOP 예산에서 최첨단 EfficientNets와 경쟁 가능한 ImageNet 테스트 정확도를 달성한다.
• ImageNet에서 최고의 정규화 불필요한 ResNet-288은 84.6%의 top-1 정확도를 기록하여, 배치 정규화가 적용된 기준 모델과 동일하거나 이를 초월한다.
• Pascal VOC에서의 세그멘테이션 작업에서는 모든 깊이 버전에서 비정규화된 ResNets가 BN 대비 mIoU 점수를 1% 이내로 유지한다.
• NYU Depth v2에서 정규화 불필요한 모델은 % <1.25 오차 및 상대 오차와 같은 핵심 지표에서 BN-ResNet 성능을 따라하거나 略로 초월한다.
• 이 방법은 RegNet 아키텍처로도 일반화 가능하여, 복합 스케일링을 적용한 정규화 불필요 모델을 구축하여 현재의 ImageNet 최첨단 성능을 달성하거나 초월한다.