[논문 리뷰] Convolutional Normalization: Improving Deep Convolutional Network Robustness and Training

Sheng Liu, Xiao Li외 5명|arXiv (Cornell University)|2021. 02. 28.

Advanced Neural Network Applications인용 수 8

한 줄 요약

이 논문은 복소수 정규화(ConvNorm)를 제안하며, 이는 복소수 도메인을 활용하여 컨volution 구조를 활용함으로써 채널 단위 등장성(이소메트리)을 강제하는 새로운 효율적인 정규화 방법이다. 빠른 푸리에 변환(FFT)을 통해 가중치 행렬을 정규화함으로써 스펙트럼 노름을 감소시키고 리프시츠 조건을 향상시키며, 훈련 안정성과 강건성을 향상시킨다. CIFAR-10과 ImageNet에서 배치 정규화(BatchNorm) 및 이전의 직교 정규화 방법보다 정확도, 적대적 강건성, 데이터 효율성 면에서 뛰어나다.

ABSTRACT

Normalization techniques have become a basic component in modern convolutional neural networks (ConvNets). In particular, many recent works demonstrate that promoting the orthogonality of the weights helps train deep models and improve robustness. For ConvNets, most existing methods are based on penalizing or normalizing weight matrices derived from concatenating or flattening the convolutional kernels. These methods often destroy or ignore the benign convolutional structure of the kernels; therefore, they are often expensive or impractical for deep ConvNets. In contrast, we introduce a simple and efficient "Convolutional Normalization" (ConvNorm) method that can fully exploit the convolutional structure in the Fourier domain and serve as a simple plug-and-play module to be conveniently incorporated into any ConvNets. Our method is inspired by recent work on preconditioning methods for convolutional sparse coding and can effectively promote each layer's channel-wise isometry. Furthermore, we show that our ConvNorm can reduce the layerwise spectral norm of the weight matrices and hence improve the Lipschitzness of the network, leading to easier training and improved robustness for deep ConvNets. Applied to classification under noise corruptions and generative adversarial network (GAN), we show that the ConvNorm improves the robustness of common ConvNets such as ResNet and the performance of GAN. We verify our findings via numerical experiments on CIFAR and ImageNet.

연구 동기 및 목표

• 기존의 가중치 정규화 방법이 컨볼루션 구조를 忽시하고 고비용을 유발하는 한계를 해결하기 위해.
• 이동 불변성을 유지하면서 효율적인 채널 단위 직교화를 가능하게 하는 즉시 적용 가능한 정규화 모듈을 개발하기 위해.
• 데이터 손상 및 적대적 공격 하에서의 훈련 안정성, 일반화 능력, 강건성을 향상시키기 위해.
• 층별 스펙트럼 노름을 감소시키고 컨볼루션 레이어의 조건수를 향상시키기 위해.
• ResNet50 및 ResNet152와 같은 깊고 과도하게 파rameter화된 네트워크에서 확장 가능하고 효율적인 정규화를 가능하게 하기 위해.

제안 방법

• ConvNorm는 각 출력 채널을 타이트 프레임(tight frame)으로 정규화하여 에너지 보존과 채널 단위 등장성을 보장함으로써 컨볼루션 커널을 재구성한다.
• 빠른 푸리에 변환(FFT)을 사용하여 푸리에 도메인에서 작동함으로써 행렬 분해 없이도 커널의 역행렬을 효율적으로 계산할 수 있다.
• 각 채널의 가중치 행렬 스펙트럼에 사전 계산된 정규화 커널 $ v $ 를 적용한 후, 학습 가능한 애프린 변환 $ r $ 을 적용한다.
• 이 방법은 채널 수준에서 직교성을 강제함으로써 컨볼루션 구조를 유지하고 커널을 평탄화하는 것을 방지한다.
• 이 정규화는 즉시 적용 가능한 모듈로, 기존의 모든 컨볼루션 네트워크 아키텍처와 호환된다.
• 이 방법은 컨볼루션 스퍼스 코딩에서의 프리컨dition링 기법을 영감으로 받아 딥 러닝 최적화에 적응시킨 것이다.

실험 결과

연구 질문

• RQ1 푸리에 도메인에서 컨볼루션 구조를 명시적으로 활용하는 정규화 방법이 딥 컨볼루션 네트워크의 훈련과 강건성 향상에 기여할 수 있는가?
• RQ2 일반화 및 적대적 강건성 측면에서 ConvNorm은 배치 정규화 및 기타 가중치 정규화 기법과 비교해 어떻게 성능을 냈는가?
• RQ3 ConvNorm를 통해 채널 단위 등장성을 강제하면 스펙트럼 노름이 감소하고 층별 조건수는 향상되는가?
• RQ4 ResNet50 및 ResNet152와 같은 대규모 네트워크에 대해 ConvNorm는 금전적 비용이 과도하게 증가하지 않도록 효율적으로 확장될 수 있는가?
• RQ5 라벨 노이즈와 데이터 부족 조건에서 ConvNorm와 배치 정규화를 조합했을 때 성능에 어떤 영향을 미치는가?

주요 결과

• ConvNorm는 가중치 행렬의 층별 스펙트럼 노름을 감소시켜 네트워크의 리프시츠 조건을 향상시키고 훈련을 더 쉽게 만들 수 있다.
• 80%의 라벨 노이즈가 있는 CIFAR-10에서, ConvNorm와 배치 정규화를 조합한 결과 PGD-10 적대적 공격 하에서 46.12%의 테스트 정확도를 기록했으며, Cayley 변환(38.35%)을 능가했다.
• 데이터 부족 및 라벨 노이즈 조건에서 기존 네트워크 대비 최대 4.5%의 테스트 정확도 향상을 기록했으며, 기존 설정 대비 평균 조건수 비율이 3.332만큼 향상되었다.
• CIFAR-10에서 ResNet18을 한 에포크 동안 훈련할 경우, ConvNorm는 60초가 소요되었고, 기존 모델은 21초, Cayley 변환은 182초가 소요되어 뛰어난 효율성을 입증했다.
• Condition 수를 감소시키는 데서 SN, ONI, OCNN보다 ConvNorm가 더 뛰어난 성능을 보였으며, ρ 값이 3.332로 기존 기준 대비 강력한 향상을 보였다.
• 이 방법은 확장 가능하고 대규모 네트워크에서 효과적이며, ResNet18에서 성능을 입증했고, 잠재적으로 ResNet50 및 ResNet152로의 확장도 가능하다.