[논문 리뷰] Normalization Techniques in Training DNNs: Methodology, Analysis and Application

Lei Huang, Jie Qin외 4명|arXiv (Cornell University)|2020. 09. 27.

Advanced Neural Network Applications참고 문헌 282인용 수 52

한 줄 요약

이 설문조사는 DNN 학습을 위한 정규화 방법을 검토하고, 통일된 분류학을 제시하며 활성화, 가중치, 그래디언트 정규화의 응용과 이론을 논의합니다.

ABSTRACT

Normalization techniques are essential for accelerating the training and improving the generalization of deep neural networks (DNNs), and have successfully been used in various applications. This paper reviews and comments on the past, present and future of normalization methods in the context of DNN training. We provide a unified picture of the main motivation behind different approaches from the perspective of optimization, and present a taxonomy for understanding the similarities and differences between them. Specifically, we decompose the pipeline of the most representative normalizing activation methods into three components: the normalization area partitioning, normalization operation and normalization representation recovery. In doing so, we provide insight for designing new normalization technique. Finally, we discuss the current progress in understanding normalization methods, and provide a comprehensive review of the applications of normalization for particular tasks, in which it can effectively solve the key issues.

연구 동기 및 목표

• 정규화를 통해 DNN 학습 속도를 높이고 일반화 성능을 향상시키려는 동기.
• 다양한 정규화 방법을 비교할 수 있는 통일된 분류학 제공.
• 정규화가 최적화 및 학습 역학에 미치는 영향을 분석.
• 작업별 맞춤 정규화 방법의 발전과 응용을 요약.
• 정규화 이해에 대한 이론적 통찰과 남는 질문들을 논의.

제안 방법

• 정규화 방법을 정규화 영역 분할(NAP), 정규화 연산(NOP), 정규화 표현 회복(NRR)으로 분해한다.
• 활성화-정규화를 population statistics에 의한 방식과 함수 기반 접근으로 분류한다.
• 정규화 유형 검토: 활성화(확률 통계 및 함수 기반), 가중치, 그리고 그래디언트.
• 역전파 고려 사항과 함께 화이트닝(Whitening), 상관 제거 및 표준화 변형을 논의한다.
• BN, LN, GN, IN, PN, BGN 및 로컬 정규화 방법을 통일된 프레임워크에서 분석한다.
• 컨디셔닝 및 피셔 정보 근사 등을 포함한 최적화 이론적 관점을 요약한다.

실험 결과

연구 질문

• RQ1 DNNs에서 서로 다른 정규화 방법의 주요 동기는 무엇이며, 분류학이 그 유사점과 차이점을 어떻게 포착할 수 있는가?
• RQ2 정규화의 실험적 성공과 이론적 이해를 어떻게 연결할 수 있는가?
• RQ3 다양한 응용에 맞춘 정규화를 가능하게 하는 최근의 발전은 무엇인가?
• RQ4 정규화 방법이 최적화 컨디셔닝, 안정성 및 일반화에 어떤 영향을 미치는가?

주요 결과

• 정규화 방법은 계층 간의 입력/그래디언트 통계를 평준화하여 잘 정의되지 않은 최적화 지형을 피하는 것을 목표로 한다.
• 활성화는 population statistics로 정규화하거나 함수 변환으로 정규화할 수 있으며, 세 부분 분해(NAP, NOP, NRR)가 있다.
• BN은 미니배치 통계를 대중화하지만 소형 배치 및 학습-추론 간의 격차에 직면하며, LN, GN, IN이 이 한계에 대응한다.
• 화이트닝 기반 접근(BW, ZCA, PCA)은 표준화를 확장하고 컨디셔닝을 개선할 수 있으며, 그룹 기반 화이트닝은 비용을 감소시킨다.
• 프레임워크(Algorithm 1)는 정규화를 영역 분할, 연산, 표현 회복으로 개념화하여 새로운 방법 설계에 가이드를 제공한다.
• 논의된 응용에는 도메인 적응, 스타일 전이, GAN, 활성화 통계를 수정하는 효율적 모델 등이 포함된다.