[논문 리뷰] Rethinking Normalization and Elimination Singularity in Neural Networks

Siyuan Qiao, Huiyu Wang외 3명|arXiv (Cornell University)|2019. 11. 21.

Neural Networks and Applications참고 문헌 46인용 수 8

한 줄 요약

이 논문은 깊이 있는 신경망이 제거 특이점—학습 성능을 떨어뜨리는 손실 곡면 내에서 열악한 점—에 가까워지는 것을 방지하기 위해 배치 및 채널 통계를 조합하는 새로운 정규화 방법인 배치-채널 정규화(Batch-Channel Normalization, BCN)를 제안한다. BCN는 표준 채널 기반 정규화가 실패하는 대규모 및 마이크로 배치 학습 환경에서 특히 효과적으로 작용하여 이미지 분류, 객체 검출 및 세분화 작업 전반에서 성능을 향상시킨다.

ABSTRACT

In this paper, we study normalization methods for neural networks from the perspective of elimination singularity. Elimination singularities correspond to the points on the training trajectory where neurons become consistently deactivated. They cause degenerate manifolds in the loss landscape which will slow down training and harm model performances. We show that channel-based normalizations (e.g. Layer Normalization and Group Normalization) are unable to guarantee a far distance from elimination singularities, in contrast with Batch Normalization which by design avoids models from getting too close to them. To address this issue, we propose BatchChannel Normalization (BCN), which uses batch knowledge to avoid the elimination singularities in the training of channel-normalized models. Unlike Batch Normalization, BCN is able to run in both large-batch and micro-batch training settings. The effectiveness of BCN is verified on many tasks, including image classification, object detection, instance segmentation, and semantic segmentation. The code is here: https://github.com/joe-siyuan-qiao/Batch-Channel-Normalization.

연구 동기 및 목표

• 정규화 방법이 깊이 있는 신경망이 제거 특이점에서 얼마나 떨어져 있는지에 미치는 영향을 조사하는 것.
• 채널 기반 정규화 방법인 레이어 정규화와 그룹 정규화가 이러한 특이점에서 안전한 거리를 유지하지 못하는 이유를 규명하는 것.
• 대규모 및 마이크로 배치 학습에서 모두 효과적으로 작용할 수 있도록 배치 지식을 활용하여 채널 정규화 모델을 향상시키는 정규화 방법을 개발하는 것.
• 이중 정규화 방법의 효과성을 다양한 비전 벤치마크—이미지 분류 및 인스턴스 세분화 포함—에서 검증하는 것.
• 손실 곡면 내 특이점 회피와 연결된 정규화의 새로운 이론적 및 실증적 이해를 제공하는 것.

제안 방법

• BCN는 제거 특이점에 가까워지는 것을 방지하기 위해 배치 정규화 통계와 채널 별 정규화를 결합한다.
• 배치 차원을 따라 평균과 표준편차 정규화를 적용한 후, 각 채널 그룹 내에서 채널 별 정규화를 수행한다.
• 학습 가능한 파rameter인 γ와 β를 사용한 애핀 변환을 적용하여 정규화된 특징을 스케일링하고 이동시키며, 이는 표준 정규화 레이어와 유사하다.
• BCN는 대규모 및 마이크로 배치 학습 모두에 적합하도록 설계되어, 기존 배치 정규화의 핵심 한계를 극복한다.
• 정규화는 복합 함수로 적용되며, 먼저 배치 통계를 계산하고, 그 다음 각 그룹 내에서 채널 통계를 적용한 후, 마지막으로 애핀 변환을 적용한다.
• BCN와 함께 웨이트 표준화를 사용하여 성능을 추가로 향상시키며, 특히 채널 기반 정규화와 조합했을 때 효과적이다.

실험 결과

연구 질문

• RQ1 배치 정규화가 제거 특이점에서 모델을 멀리 유지하는 데 효과적인가? 만약 그렇다면 그 이유는 무엇인가?
• RQ2 왜 레이어 정규화와 그룹 정규화와 같은 채널 기반 정규화 방법은 제거 특이점에서 안전한 거리를 유지하지 못하는가?
• RQ3 채널 정규화 모델에 배치 지식을 효과적으로 통합하여 그 견고성과 성능을 향상시킬 수 있는가?
• RQ4 대규모 및 마이크로 배치 학습 환경 모두에서 잘 작동하는 정규화 방법을 설계하는 것이 가능한가?
• RQ5 다양한 정규화 기법에서 제거 특이점까지의 거리와 모델 성능 간의 상관관계는 어떻게 되는가?

주요 결과

• 배치 정규화는 제거 특이점에서 모델을 멀리 유지하는 데 성공하여 강력한 학습 안정성과 성능 향상에 기여한다.
• 레이어 정규화와 그룹 정규화는 제거 특이점에서 안전한 거리를 유지하지 못하며, 레이어 정규화는 그룹 정규화보다 성능이 열 劣하다.
• 웨이트 표준화는 레이어 및 그룹 정규화의 성능을 향상시켜 특이점에서 멀어지게 하며, 실무에서의 긍정적 영향을 설명한다.
• 제안된 배치-채널 정규화(BCN)는 표준 정규화 방법이 떨어지는 마이크로 배치 환경에서도 모델이 제거 특이점에 가까워지는 것을 효과적으로 방지한다.
• BCN는 ImageNet 분류, PASCAL VOC 검출, MS COCO 인스턴스 세분화를 포함한 다양한 비전 작업에서 기준 정규화 방법을 능가한다.
• BCN는 대규모 및 마이크로 배치 학습 모두에서 일관된 성능 향상을 보이며, 다양한 학습 환경에서의 견고성과 일반화 능력을 입증한다.