[논문 리뷰] Explicit Regularisation in Gaussian Noise Injections

Alexander Camuto, Matthew Willetts외 3명|arXiv (Cornell University)|2020. 07. 14.

Sparse and Compressive Sensing Techniques참고 문헌 48인용 수 36

한 줄 요약

이 논문은 신경망에서 가우시안 노이즈 주입으로부터 명시적 정규화 항을 도출하고, 이 항이 고주파 구성요소를 벌칙화하며(특히 출력 근처에서) 보정된 분류기와 더 큰 마진을 가져온다는 것을 보여준다.

ABSTRACT

We study the regularisation induced in neural networks by Gaussian noise injections (GNIs). Though such injections have been extensively studied when applied to data, there have been few studies on understanding the regularising effect they induce when applied to network activations. Here we derive the explicit regulariser of GNIs, obtained by marginalising out the injected noise, and show that it penalises functions with high-frequency components in the Fourier domain; particularly in layers closer to a neural network's output. We show analytically and empirically that such regularisation produces calibrated classifiers with large classification margins.

연구 동기 및 목표

• GNIs(가우시안 노이즈 주입)가 네트워크 활성화에 적용될 때 유도하는 정규화 효과를 동기 부여하고 이해한다.
• 주입된 노이즈를 주변화(marginalise)하여 해석적으로 명시적 정규화 항(R)을 도출한다.
• R이 Sobolev 공간 및 푸리에 도메인과 관련이 있음을 보인다.
• GNI가 더 큰 분류 마진과 향상된 보정성을 유도함을 입증한다.
• 회귀 및 분류 설정 전반에 걸친 해석적 및 경험적 근거를 제시한다.

제안 방법

• 각 은닉층에 주입된 등방성 가우시안 노이즈가 손실에 미치는 영향을 계층 활성화의 Taylor 전개로 모델링한다.
• 주입된 노이즈를 주변화하여 상위 차수 남은 항보다 지배적인 명시적 정규화 항(R)을 얻고(정리 1).
• R을 회귀 및 분류 케이스에서 네트워크의 Jacobian 및 Hessian과 연결하여(Expression (11)–(14)) 표현한다.
• R을 Sobolev 공간 및 푸리에 변환과 연결하여 저주파(매끄러운) 함수에 대한 바이어스가 있음을 보인다(정리 2 및 관련 논의).
• 초기 층이 고주파 페널티에 더 크게 기여하는 재귀적, 층별 정규화 방식을 제시하여 더 깊은 층이 점차 부드럽게 표현될 수 있음을 보인다(층별 논의).
• GNIs와 R이 유사한 학습 동역학을 유도하고 저주파 학습을 촉진한다는 경험적 근거를 제시한다(Figure 3 및 Figure 4).

실험 결과

연구 질문

• RQ1 신경망 활성화에 적용될 때 Gaussian Noise Injections가 유도하는 명시적 정규화는 무엇인가?
• RQ2 이 정규화가 학습된 함수의 Sobolev 공간 및 푸리에 스펙트럼과 어떻게 연결되는가?
• RQ3 정규화가 더 매끄러운(저주파) 함수와 더 큰 분류 마진을 촉진하는가?
• RQ4 GNIs가 회귀 및 분류 설정에서 모델의 보정성 및 견고성을 향상시키는가?

주요 결과

• GNIs에서 추가된 정규화 항 R은 양수이며 실제로 고차항의 남은 항을 지배한다.
• R은 Sobolev 노름 및 고주파 구성요소를 억제하는 푸리에 도메인 페널티와 연결된다.
• 정규화는 출력에 더 가까운 층에서 더 강하게 작용하여 점진적으로 저주파 표현을 촉진한다.
• 경험적으로 GNIs 및 R로 학습된 모델은 유사한 학습 궤적을 보이고 민감도가 감소하며 보정성이 향상된다.
• 회귀에서 명시적 정규화는 계층 Jacobian의 Frobenius 노름의 합으로 환원되며 노이즈 분산으로 가중된다(식(11)).
• 분류에서 R은 손실의 Hessian을 포함하며 양수이고 주파수에 페널티를 주는 항으로 남아 있다(식(13)–(14)).