[논문 리뷰] Removing the Feature Correlation Effect of Multiplicative Noise

Zijun Zhang, Yining Zhang외 1명|arXiv (Cornell University)|2018. 09. 19.

Domain Adaptation and Few-Shot Learning인용 수 3

한 줄 요약

이 논문은 배치 정규화를 적용한 딥 네트워크에서 표준 다중성 노이즈(예: 드롭아웃)에 의해 유도되는 특성 상관관계를 제거하는 새로운 정규화 기법인 비상관 다중성 노이즈(Non-Correlating Multiplicative Noise, NCMN)를 제안한다. 노이즈 성분을 통해 기울기를 잘라내고 배치 정규화와 결합함으로써 NCMN는 특성 상관관계를 감소시키고 일반화 성능을 향상시키며, 이미지 분류 벤치마크에서 표준 드롭아웃과 샤크셰이크 정규화를 모두 능가한다.

ABSTRACT

Multiplicative noise, including dropout, is widely used to regularize deep neural networks (DNNs), and is shown to be effective in a wide range of architectures and tasks. From an information perspective, we consider injecting multiplicative noise into a DNN as training the network to solve the task with noisy information pathways, which leads to the observation that multiplicative noise tends to increase the correlation between features, so as to increase the signal-to-noise ratio of information pathways. However, high feature correlation is undesirable, as it increases redundancy in representations. In this work, we propose non-correlating multiplicative noise (NCMN), which exploits batch normalization to remove the correlation effect in a simple yet effective way. We show that NCMN significantly improves the performance of standard multiplicative noise on image classification tasks, providing a better alternative to dropout for batch-normalized networks. Additionally, we present a unified view of NCMN and shake-shake regularization, which explains the performance gain of the latter.

연구 동기 및 목표

• 표준 다중성 노이즈(예: 드롭아웃)가 유도하는 특성 상관관계라는 이전에 간과된 부작용을 규명하고 이를 해결하고자 한다.
• 추가적인 계산 부담이나 추가 하이퍼파rameter를 도입하지 않고도 이 상관관계 효과를 제거하는 정규화 방법을 개발하고자 한다.
• 샤크셰이크 정규화의 성공을 통합적인 이론적 설명으로 제시하기 위해 NCMN의 변형과의 유사성을 통해 이를 설명하고자 한다.
• 다양한 아키텍처에서 일관되게 성능 향상을 보여주며, 특히 ResNets와 워드 리서치 네트워크에서의 성능 향상을 입증하고자 한다.

제안 방법

• 노이즈가 있는 특성을 신호와 노이즈 성분으로 분해하고, 노이즈 성분을 통해 기울기를 잘라내어 최적화의 이탈을 방지한다.
• 역전파 과정에서 노이즈 성분을 상수로 간주하는 기울기 수정 기법을 도입하여, 노이즈가 특성 갱신에 미치는 영향을 효과적으로 제거한다.
• 기울기 잘라내기 기법을 배치 정규화와 융합하여, 훈련 과정에서 특성 크기의 증가 경향을 억제한다.
• 일반 컨볼루션 네트워크와 잔차 네트워크를 포함한 다양한 아키텍처에 맞춘 NCMN의 다수의 변형(NCMN-0, NCMN-1, NCMN-2)을 제안한다.
• 이론적으로 NCMN와 샤크셰이크 정규화 간의 유사성을 분석하여, 둘 다 유사한 통계적 성질을 가진 노이즈를 생성함으로써 특성 상관관계를 억제한다는 점을 입증한다.
• 완전 연결층과 컨볼루션층 모두에 이 기법을 적용하고, 표준 이미지 분류 설정에서의 효과성을 검증한다.

실험 결과

연구 질문

• RQ1 드롭아웃과 같은 다중성 노이즈가 본질적으로 특성 상관관계를 증가시키는가? 만약 그렇다면 이는 모델의 일반화에 어떤 영향을 미치는가?
• RQ2 추가 하이퍼파rameter나 계산 비용을 추가하지 않고도 다중성 노이즈의 특성 상관관계 영향을 체계적으로 제거할 수 있는가?
• RQ3 NCMN와 샤크셰이크 정규화 사이의 이론적 연결 고리는 무엇이며, 이는 샤크셰이크의 뛰어난 성능을 설명할 수 있는가?
• RQ4 다양한 네트워크 아키텍처에서 NCMN가 표준 드롭아웃과 샤크셰이크에 비해 테스트 정확도와 훈련 안정성 측면에서 어떻게 성능을 냈는가?
• RQ5 NCMN의 이점은 특성 상관관계가 이미 낮은 LSTMs와 같은 비-CNN 아키텍처로도 확장되는가?

주요 결과

• NCMN는 특성 상관관계를 크게 감소시켜, 청소된 특성 및 표준 다중성 노이즈가 적용된 특성보다 낮은 상관관계 수준을 달성한다.
• CIFAR-10과 CIFAR-100에서 NCMN-2는 WRN-22-7.5에서 테스트 오차 3.00%를 기록하여, 동일한 아키텍처에서 표준 드롭아웃(3.89%)과 샤크셰이크(3.51%)를 모두 능가한다.
• NCMN-2로 훈련된 WRN-28-10 모델은 9배 적은 에포크 수(200 vs. 1800)로 샤크셰이크와 유사한 성능에 도달하여 더 빠른 수렴을 보였다.
• NCMN-0은 소형(1.6M 파라미터)에서 대형(36.5M 파라미터) 네트워크까지 다양한 크기의 모델에서 일관된 성능 향상을 보였으며, CIFAR-10에서 최대 5.10%의 향상을 기록했다.
• ResNets에서는 NCMN-2가 가장 뛰어난 일반화 성능을 보였고, NCMN-0는 더 단순하고 빠르므로 일반 용도로는 더 유리하며, 아키텍처에 따라 성능에 민감도가 있음을 보여주었다.
• 특성 상관관계가 이미 낮은 LSTMs에서는 NCMN가 드롭아웃에 비해 유의미한 향상을 보이지 않아, 이 기법의 이점이 상관관계가 높은 환경에서 특히 두드러진다는 점을 확인했다.