[논문 리뷰] On the Inherent Regularization Effects of Noise Injection During Training

Oussama Dhifallah, Yue M. Lu|arXiv (Cornell University)|2021. 02. 15.

Gaussian Processes and Bayesian Inference참고 문헌 39인용 수 13

한 줄 요약

이 논문은 랜덤 피처 모델 내에서 훈련 데이터에 노이즈를 주입할 때의 이론적 분석을 제공하며, 가우시안 노이즈 주입이 渐近적으로 가중 리지 정규화를 유도함을 보여준다. 핵심 결과는 노이즈 주입 횟수가 증가함에 따라 정규화 효과가 특정한 해석적으로 유도된 리지 페널티를 학습 목표에 추가하는 것과 동치가 된다는 것이다.

ABSTRACT

Randomly perturbing networks during the training process is a commonly used approach to improving generalization performance. In this paper, we present a theoretical study of one particular way of random perturbation, which corresponds to injecting artificial noise to the training data. We provide a precise asymptotic characterization of the training and generalization errors of such randomly perturbed learning problems on a random feature model. Our analysis shows that Gaussian noise injection in the training process is equivalent to introducing a weighted ridge regularization, when the number of noise injections tends to infinity. The explicit form of the regularization is also given. Numerical results corroborate our asymptotic predictions, showing that they are accurate even in moderate problem dimensions. Our theoretical predictions are based on a new correlated Gaussian equivalence conjecture that generalizes recent results in the study of random feature models.

연구 동기 및 목표

• 훈련 데이터에 가우시안 노이즈를 주입할 때의 정규화 효과를 이론적으로 이해하는 것.
• 노이즈 주입 하에서 랜덤 피처 모델의 훈련 오차와 일반화 오차의 渐近적 행동을 기술하는 것.
• 노이즈 주입과 암묵적 정규화 사이의 정확한 연결을 수립하며, 특히 해당하는 리지 페널티를 특정화하는 것.
• 기존 결과를 확장하는 새로운 상관된 가우시안 등가성 추측을 개발하고 검증하는 것.
• 데이터 편향 하에서 일반화 성능을 분석하기 위한 엄밀한 渐近적 프레임워크를 제공하는 것

제안 방법

• 각 훈련 샘플이 독립적인 가우시안 노이즈 벡터로 훼손되는 노이즈가 있는 학습 문제를 수립하며, 노이즈 분산은 Δ로 표기한다.
• 고정된 랜덤 피처와 두 층으로 구성된 신경망 구조에서, 두 번째 층만 학습되는 랜덤 피처 모델을 사용하여 최적화 문제를 분석한다.
• 다변량 복소 일반화된 尾法(CGMT) 프레임워크를 적용하여 훈련 오차와 일반화 오차의 渐近적 표현을 유도한다.
• 노이즈 주입과 가중 리지 정규화 사이의 渐近적 동치성을 도출하며, 피처 행렬과 활성화 함수에 따라 정규화 행렬을 명시적으로 기술한다.
• 기존의 랜덤 피처 모델 분석 결과를 일반화하기 위해 새로운 상관된 가우시안 등가성 추측을 도입한다.
• 이론적 예측을 수치 실험을 통해 검증하며, 중간 차원 설정에서도 높은 일치도를 보인다.

실험 결과

연구 질문

• RQ1 랜덤 피처 모델에서 훈련 데이터에 가우시안 노이즈를 주입할 때의 정확한 渐近적 영향은 일반화 오차와 훈련 오차에 어떻게 작용하는가?
• RQ2 입력 데이터에 노이즈를 주입하는 것은 리지 회귀와 같은 명시적 정규화 기법과 어떻게 관련이 있는가?
• RQ3 고차원 극한에서 노이즈 주입이 유도하는 정규화를 해석적으로 기술할 수 있는가?
• RQ4 노이즈 주입과 리지 정규화 사이의 동치성이 渐近적으로 성립하는가? 그리고 해당 정규화 페널티의 명시적 형태는 무엇인가?
• RQ5 유한 차원, 중간 크기의 문제에서의 渐近적 예측은 얼마나 정확한가?

주요 결과

• 훈련 데이터에 가우시안 노이즈를 주입하면, 고차원 극한에서 가중 리지 정규화가 渐近적으로 유도되며, 정규화 행렬은 피처 행렬과 활성화 함수에 대해 명시적으로 유도된다.
• 고차원 극한 하에서 등가 리지 페널티는 입력 공분산, 활성화 함수의 두 번째 모멘트, 노이즈 분산의 함수로 나타나며, 이는 명시적으로 기술된다.
• 수치 결과는 이론적 예측과 매우 높은 정확도로 일치하며, 중간 차원 설정(예: p ≈ 100–500)에서도 성립한다.
• 노이즈 주입의 渐近적 동치성은 노이즈 주입 횟수 ℓ가 무한으로 수렴할 때 성립하며, 이로 인해 명확한 정규화 효과가 유도된다.
• 유도된 정규화는 균일하지 않으며, 피처 행렬의 구조와 데이터 분포에 따라 가중치가 부여된 형태로 의존한다.
• 이 분석은 최근 랜덤 피처 모델 분석의 진전을 일반화하는 새로운 상관된 가우시안 등가성 추측에 기반한다.