[논문 리뷰] A New Look at Ghost Normalization

Neofytos Dimitriou, Ognjen Arandjelović|arXiv (Cornell University)|2020. 07. 16.

Advanced Neural Network Applications참고 문헌 23인용 수 4

한 줄 요약

이 논문은 데이터 증강 없이 CIFAR-10 및 CIFAR-100에서 최신 기준 성능을 달성하는 새로운 정규화 기법인 순차 정규화(Sequential Normalization, SeqNorm)를 소개한다. SeqNorm는 고스트 정규화(Ghost Normalization)와 그룹 정규화(Group Normalization)를 순차적으로 적용하며, 고스트정규화에 내재된 고유한 정규화 메커니즘을 규명하고, 손실 경로 시각화를 통해 고스트정규화가 부드러움을 감소시켜 일반화 성능을 향상시킴을 입증한다. 특히 작은 배치 크기에서 두드러진 성능 향상이 관찰된다.

ABSTRACT

Batch normalization (BatchNorm) is an effective yet poorly understood technique for neural network optimization. It is often assumed that the degradation in BatchNorm performance to smaller batch sizes stems from it having to estimate layer statistics using smaller sample sizes. However, recently, Ghost normalization (GhostNorm), a variant of BatchNorm that explicitly uses smaller sample sizes for normalization, has been shown to improve upon BatchNorm in some datasets. Our contributions are: (i) we uncover a source of regularization that is unique to GhostNorm, and not simply an extension from BatchNorm, (ii) three types of GhostNorm implementations are described, two of which employ BatchNorm as the underlying normalization technique, (iii) by visualising the loss landscape of GhostNorm, we observe that GhostNorm consistently decreases the smoothness when compared to BatchNorm, (iv) we introduce Sequential Normalization (SeqNorm), and report superior performance over state-of-the-art methodologies on both CIFAR--10 and CIFAR--100 datasets.

연구 동기 및 목표

• 작은 배치 크기에서 통계 추정이 열악해지므로 배치 정규화(BatchNorm)의 성능이 떨어진다는 널리 퍼진 믿음에 도전한다.
• 배치 정규화와는 다를 만한 고유한 정규화 기여 메커니즘을 내재한 고스트 정규화(Ghost Normalization)의 근본 원인을 규명한다.
• 이미지 분류 벤치마크에서 기존 방법을 능가하는 성능을 보이는 새로운 정규화 기법인 순차 정규화(Sequential Normalization, SeqNorm)를 제안하고 실험적으로 검증한다.
• 완전한 그리드 서치를 피하면서도 성능을 유지할 수 있는 효율적인 SeqNorm 하이퍼파rameter 튜닝 전략을 개발한다.
• 고스트정규화의 손실 경로를 시각화하고 분석함으로써 최적화 동역학에 미치는 영향을 규명한다.

제안 방법

• 고스트 정규화를 먼저 적용하고 그 결과를 그룹 정규화에 입력하는 순차적 정규화 파이프라인인 순차 정규화(Sequential Normalization, SeqNorm)를 제안한다. 이는 향상된 특징 정규화와 일반화 성능 향상을 가능하게 한다.
• 두 단계 하이퍼파rameter 튜닝 전략을 적용한다: 먼저 고스트정규화의 그룹 수 $G_M$를 최적화하고, 그 다음에 최적의 $G_M$를 기반으로 그룹정규화의 그룹 수 $G_C$를 튜닝한다.
• 기울기 누적과 다중 GPU 학습을 활용하여 고스트정규화의 작은 배치 크기를 시뮬레이션함으로써, 제한된 배치 크기에서도 효과적인 학습을 가능하게 한다.
• 고스트정규화의 손실 경로를 시각화하고, 배치 정규화와 비교해 볼 때 특히 후반 학습 에포크에서 부드러움이 지속적으로 감소하는 경향을 관찰한다.
• 작업 배치를 더 작은 그룹으로 명시적으로 분할하여 독립적으로 정규화하는 고스트정규화의 새로운 구현 방식을 도입함으로써, 더 높은 확률적 성격과 정규화 효과를 향상시킨다.
• 고스트정규화의 출력을 그룹정규화에 순차적으로 입력하는 정규화 파이프라인을 설계함으로써, 네트워크가 더 강건하고 분리된 특징 표현을 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 통계 추정에 사용하는 표본 수가 적음에도 불구하고 고스트 정규화가 왜 성능 향상을 이룰 수 있는가?
• RQ2 고스트 정규화는 배치 정규화와는 다를 만한 고유한 정규화 형태를 제공하는가?
• RQ3 고스트 정규화와 그룹 정규화를 순차적으로 조합하면 개별적으로 사용했을 때보다 더 나은 일반화 성능를 달성할 수 있는가?
• RQ4 고스트정규화의 손실 경로는 배치 정규화와 비교해 어떻게 다른가? 이는 최적화 동역학에 어떤 영향을 미치는가?
• RQ5 완전한 그리드 서치를 피하면서도 성능을 유지할 수 있는 더 효율적인 SeqNorm 하이퍼파rameter 튜닝 전략을 개발할 수 있는가?

주요 결과

• 고스트정규화는 $G_M = 8$일 때 CIFAR-100에서 테스트 정확도 82.8%를 기록하며, 정규화에 사용하는 그룹당 표본 수가 4개 뿐이지만 배치 정규화(82.1%)를 능가한다.
• $G_C = 4$ 및 $G_M = 8$ 조건에서 순차 정규화(SeqNorm)는 CIFAR-100에서 테스트 정확도 83.8%를 달성하며, 데이터 증강 없이도 현재 최고 성능(SOTA)을 초월한다.
• CIFAR-10에서는 $G_C = 16$ 및 $G_M = 8$ 조건에서 SeqNorm가 테스트 정확도 97.4%를 기록하며, 더 단순한 학습 설정을 사용함에도 불구하고 현재 최고 성능를 달성한다.
• 손실 경로 시각화 결과, 고스트정규화는 특히 후반 학습 에포크에서 배치 정규화보다 부드러움이 지속적으로 감소하는 경향을 보이며, 더 복잡하지만 잠재적으로 더 일반화 가능한 최적화 경로를 제공함을 시사한다.
• $G_M$와 $G_C$에 대한 제안된 순차적 튜닝 전략은 시간 복잡도를 $\Theta(G_C + G_M)$로 감소시켜 전체 그리드 서치보다 빠른 하이퍼파rameter 탐색이 가능하게 한다.
• 실험 결과, SeqNorm에서 고스트정규화와 그룹정규화의 순서를 뒤바꾸거나 동시에 적용하는 경우 성능이 악화됨을 확인하였으며, 이는 순차적 적용의 중요성을 입증한다.