[논문 리뷰] Proxy-Normalizing Activations to Match Batch Normalization while Removing Batch Dependence

Antoine Labatie, Dominic Masters외 2명|arXiv (Cornell University)|2021. 06. 07.

Adversarial Robustness in Machine Learning참고 문헌 84인용 수 7

한 줄 요약

이 논문은 배치에 의존하지 않는 정규화 기법인 프록시 정규화(Proxy Normalization, PN)를 소개한다. PN은 학습된 프록시 분포를 사용해 활성화 후 출력을 정규화하여 배치 정규화(Batch Normalization, BN)의 유용한 성질—예를 들어 척도 불변성과 안정적인 활성화 통계—를 모방한다. 레이어 정규화나 그룹 정규화와 조합할 경우, 특히 BN이 성능이 떨어지는 저배치 환경에서 PN은 BN의 성능을 따라하거나 뛰어넘는다.

ABSTRACT

We investigate the reasons for the performance degradation incurred with batch-independent normalization. We find that the prototypical techniques of layer normalization and instance normalization both induce the appearance of failure modes in the neural network's pre-activations: (i) layer normalization induces a collapse towards channel-wise constant functions; (ii) instance normalization induces a lack of variability in instance statistics, symptomatic of an alteration of the expressivity. To alleviate failure mode (i) without aggravating failure mode (ii), we introduce the technique "Proxy Normalization" that normalizes post-activations using a proxy distribution. When combined with layer normalization or group normalization, this batch-independent normalization emulates batch normalization's behavior and consistently matches or exceeds its performance.

연구 동기 및 목표

• 배치에 의존하지 않는 정규화 기법인 레이어 정규화(LayerNorm)와 인스턴스 정규화(InstanceNorm)가 널리 사용됨에도 불구하고 심층 네트워크에서 실패하는 이유를 규명하는 것.
• 이러한 기법이 유도하는 특정 고장 모드를 분석하는 것, 예를 들어 채널별 붕괴와 통계적 다양성의 손실 등.
• 배치 정규화의 핵심 이점을 유지하면서도 미니배치 통계에 의존하지 않는 정규화 방법을 개발하는 것, 예를 들어 척도 불변성과 안정적인 활성화 역학.
• 프록시 정규화를 기존의 배치에 의존하지 않는 정규화 기법과 조합했을 때, 다양한 벤치마크에서 배치 정규화 성능을 일관되게 따라하거나 뛰어넘는다는 것을 보여주는 것.

제안 방법

• 정규화가 신경망 동작에 미치는 영향을 분석하기 위한 새로운 프레임워크를 제안하며, 이는 사전 활성화의 평균, 분산, 채널별 분산, 채널별 공분산의 네 가지 통계적 성질을 사용한다.
• 프록시 정규화(Proxy Normalization, PN)를 제안하며, 이는 미니배치 통계 대신 기준 분포의 기대 활성화 통계에서 유도된 프록시 분포를 사용해 활성화 후 출력을 정규화한다.
• 프록시 분포를 사용해 현재 배치에 의존하지 않는 정규화 통계를 계산함으로써, 다양한 배치 크기에서 안정적이고 일관된 정규화를 가능하게 한다.
• PN을 레이어 정규화 또는 그룹 정규화와 조합하여, 배치에 의존하지 않는 정규화 체계를 구축함으로써 배치 정규화의 동작을 모방한다.
• 정규화 과정을 변환으로서 수식화한다: $\tilde{\mathbf{z}}^{l}_{\alpha,c} = \frac{\mathbf{z}^{l}_{\alpha,c} - \mu_c(\mathbf{z}^l)}{\sqrt{\mathrm{Var}_{\mathbf{x},\alpha}[\mathbf{z}^{l}_{\alpha,c}]}}$, 여기서 $\mu_c$ 및 $\mathrm{Var}$ 는 프록시 분포에서 계산된다.
• 이론적으로 가우시안 가정과 추가 파rameter 없이도 PN이 각 채널에서 평균 0과 분산 1을 유지함을 증명함으로써 안정성과 BN의 불변성 성질과의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 표준적인 배치에 의존하지 않는 정규화 기법인 레이어 정규화와 인스턴스 정규화가 심층 네트워크에서 유도하는 특정 고장 모드는 무엇인가?
• RQ2 왜 배치 정규화가 저배치 환경에서 성능이 떨어지며, 이를 다시 배치 의존성으로 돌아가지 않고도 완화할 수 있는가?
• RQ3 배치에 의존하지 않는 정규화 방법이 미니배치 통계에 의존하지 않고도 배치 정규화의 핵심 이점—예를 들어 척도 불변성과 안정적인 활성화 역학—을 재현할 수 있는가?
• RQ4 어떻게 프록시 분포를 사용해 정규화 통계를 안정화하고 다양한 배치 크기에서 네트워크 표현력을 유지할 수 있는가?
• RQ5 기존의 배치에 의존하지 않는 정규화 기법(예: 레이어 정규화)과 프록시 정규화를 조합했을 때, 배치 정규화 성능을 일관되게 향상시킬 수 있는가?

주요 결과

• 프록시 정규화는 배치에 의존하는 정규화의 두 가지 주요 고장 모드인 레이어 정규화의 채널별 붕괴와 인스턴스 정규화의 인스턴스 수준의 다양성 손실을 효과적으로 완화한다.
• 레이어 정규화 또는 그룹 정규화와 조합했을 때, 이미지넷 및 기타 비전 벤치마크에서 저배치에서도 배치 정규화 성능을 따라하거나 뛰어넘는다.
• 척도 불변성과 안정적인 활성화 분산을 유지함으로써 심층 잔차 네트워크의 학습을 가능하게 하는 핵심 성질을 보존한다.
• 이론적 분석 결과, 가우시안 가정과 추가 파rameter가 없을 경우 프록시 정규화가 각 채널에서 평균 0과 분산 1을 유지함을 입증하여 안정성을 확보한다.
• 실증 결과는 다양한 아키텍처와 데이터셋에서 일관된 성능 향상을 보이며, 프록시 분포가 배치 의존성 없이도 정규화를 효과적으로 안정화함을 확인한다.
• 이 방법은 소규모 또는 심지어 단일 배치 크기에서도 학습이 가능하게 하며, 전체 배치 BN 수준의 성능을 유지할 수 있어 자원이 제한되거나 비i.i.d. 환경에서의 학습에 적합하다.