[논문 리뷰] BCN: Batch Channel Normalization for Image Classification

Afifa Khaled, Chao Li외 2명|arXiv (Cornell University)|2023. 12. 01.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 배치와 채널 차원을 별도로 정규화한 후 가중치를 학습 가능한 파rameter를 사용해 적응적으로 융합하는 방식으로, 배치 차원(N, H, W)과 채널 차원(C, H, W)을 동시에 고려하는 새로운 정규화 기법인 배치 채널 정규화(BCN)를 제안한다. BCN는 CNN 및 비전 트랜스포머 아키텍처에서 일반화 성능과 학습 속도 면에서 BN, LN 및 기타 기준 모델들을 능가하며, CIFAR-10, CIFAR-100, SVHN 및 ImageNet 데이터셋에서 뛰어난 성능을 보였다.

ABSTRACT

Normalization techniques have been widely used in the field of deep learning due to their capability of enabling higher learning rates and are less careful in initialization. However, the effectiveness of popular normalization technologies is typically limited to specific areas. Unlike the standard Batch Normalization (BN) and Layer Normalization (LN), where BN computes the mean and variance along the (N,H,W) dimensions and LN computes the mean and variance along the (C,H,W) dimensions (N, C, H and W are the batch, channel, spatial height and width dimension, respectively), this paper presents a novel normalization technique called Batch Channel Normalization (BCN). To exploit both the channel and batch dependence and adaptively and combine the advantages of BN and LN based on specific datasets or tasks, BCN separately normalizes inputs along the (N, H, W) and (C, H, W) axes, then combines the normalized outputs based on adaptive parameters. As a basic block, BCN can be easily integrated into existing models for various applications in the field of computer vision. Empirical results show that the proposed technique can be seamlessly applied to various versions of CNN or Vision Transformer architecture. The code is publicly available at https://github.com/AfifaKhaled/BatchChannel-Normalization

연구 동기 및 목표

• 소규모 배치 설정에서 배치 정규화(BN)의 한계와 합성곱 레이어에서 레이어 정규화(LN)의 한계를 해결하기 위해.
• 더 나은 특징 표현을 위해 배치 및 채널 의존성을 동시에 활용하는 정규화 기법을 개발하기 위해.
• 다양한 아키텍처에 걸쳐 학습 안정성, 수렴 속도 및 모델 일반화 성능을 향상시키는 일반적인 목적의 정규화 레이어를 만들기 위해.
• BN이 제한되는 온라인 학습 및 분산 학습 환경에서 정규화를 효과적으로 사용할 수 있도록 하기 위해.
• 여러 비전 벤치마크 및 모델 아키텍처에서 BCN이 BN, LN, IN 및 GN보다 뛰어난 성능을 보임을 경험적으로 검증하기 위해.

제안 방법

• BCN는 배치 정규화 방식으로 (N, H, W) 축을 따라 평균과 분산을 계산하고, 레이어 정규화 방식으로 (C, H, W) 축을 따라 평균과 분산을 별도로 계산한다.
• BCN는 (N, H, W) 차원에 대해 배치 정규화 스타일의 정규화를 적용하고, (C, H, W) 차원에 대해 레이어 정규화 스타일의 정규화를 적용한다.
• 두 개의 정규화된 출력은 학습 가능한 가중치를 사용해 적응적으로 융합된다.
• 적응형 융합 메커니즘은 입력 데이터 분포에 따라 가장 관련성이 높은 통계적 특성을 자동으로 우선시할 수 있도록 한다.
• BCN는 플러그 앤 플레이 방식으로, 최소한의 아키텍처 수정으로 기존의 CNN 및 비전 트랜스포머 모델과 호환된다.
• 수치적 안정성을 확보하기 위해 작은 이psilon(ε) 값을 사용하고, 특징 재매aram터화를 위한 학습 가능한 스케일(γ) 및 시프트(β) 파라미터를 포함한다.

Figure 1 : Visualization on several normalization techniques. Each subplot shows a feature map tensor with N the batch axes, C the channel axes, and (H, W) the spatial height and width axes.

실험 결과

연구 질문

• RQ1 배치 및 채널 의존성을 함께 모델링하는 정규화 기법이 이미지 분류에서 표준 BN 및 LN보다 뛰어난 성능을 낼 수 있는가?
• RQ2 BN이 일반적으로 성능이 저하되는 소규모 배치 크기에서도 BCN이 우수한 성능을 유지하는가?
• RQ3 BCN이 합성곱 네트워크와 비전 트랜스포머 양쪽 모두에서 학습 속도와 일반화 성능을 향상시킬 수 있는가?
• RQ4 배치 및 채널 통계의 적응형 융합 방식이 다양한 데이터셋에서 모델 수렴 및 정확도에 어떤 영향을 미치는가?
• RQ5 BCN은 자기지도 학습 및 ImageNet과 같은 대규모 비전 작업에서 효과적인가?

주요 결과

• CIFAR-10에서 BCN는 20 에포크 후 검증 정확도 84.16%를 기록했으며, 동일 조건에서 BN(78.58%)과 LN(79.74%)을 모두 앞서는 성능을 보였다.
• CIFAR-100에서 BCN는 상태최저 성능을 기록했으며, BN, LN, IN 및 GN보다 뚜렷한 일반화 성능 향상을 보였다.
• 비전 트랜스포머(ViT) 실험에서 BN을 BCN로 교체함으로써 CIFAR-100에서 테스트 정확도가 0.72% 향상되었고, 학습 정확도도 0.73% 향상되었다.
• 매우 소규모 배치 크기(예: 2 및 4)에서도 BCN는 BN이 일반적으로 실패하는 상황에서도 강력한 성능을 유지했으며, 배치 크기 2일 때 검증 정확도 81.42%를 기록했다.
• DenseNet-201을 사용한 ImageNet 실험에서 BCN는 BN보다 훨씬 뛰어난 학습 및 테스트 정확도를 보였다. 그 결과는 그림 10 및 11에 제시되어 있다.
• 제거 실험 결과, (N, C, H, W) 전체에 대해 직접 정규화하는 것은 BCN에서 사용하는 이중 스트림 적응형 융합 방식보다 성능이 열 劣하다는 것이 확인되었다.

Figure 10 : Training accuracy of DenseNet with ImageNet dataset.