[논문 리뷰] Adding noise to the input of a model trained with a regularized objective

Salah Rifai, Xavier Glorot외 2명|arXiv (Cornell University)|2011. 04. 16.

Gaussian Processes and Bayesian Inference참고 문헌 10인용 수 65

한 줄 요약

이 논문은 입력 노이즈를 추가하고 모델의 입력에 대한 야코비안의 L2 노름을 명시적으로 페널티 처리함으로써 신경망의 일반화 성능을 햖थ하는 새로운 정규화 기법을 제안한다. 노이즈가 있는 목적 함수의 이阶 테일러 전개를 사용하여, 명시적인 계산 없이도 고차 정규화 항(특히 헤시안 페널티)을 근사하고 제어한다. 이로 인해 계산 오버헤드가 최소한이면서도 더 뛰어난 내성성과 테스트 정확도를 달성한다.

ABSTRACT

Regularization is a well studied problem in the context of neural networks. It is usually used to improve the generalization performance when the number of input samples is relatively small or heavily contaminated with noise. The regularization of a parametric model can be achieved in different manners some of which are early stopping (Morgan and Bourlard, 1990), weight decay, output smoothing that are used to avoid overfitting during the training of the considered model. From a Bayesian point of view, many regularization techniques correspond to imposing certain prior distributions on model parameters (Krogh and Hertz, 1991). Using Bishop's approximation (Bishop, 1995) of the objective function when a restricted type of noise is added to the input of a parametric function, we derive the higher order terms of the Taylor expansion and analyze the coefficients of the regularization terms induced by the noisy input. In particular we study the effect of penalizing the Hessian of the mapping function with respect to the input in terms of generalization performance. We also show how we can control independently this coefficient by explicitly penalizing the Jacobian of the mapping function on corrupted inputs.

연구 동기 및 목표

• 제한된 또는 노이즈가 있는 데이터셋으로 훈련되는 신경망의 일반화 성능 향상.
• 입력 노이즈에 의해 유도되는 고차 정규화 항을 제어하기 위한 이론적으로 탄탄한 방법 제공.
• 모델의 매핑 함수에서 야코비안과 헤시안 노름을 독립적으로 제어할 수 있도록 하기.
• 고차 도함수 계산을 직접 수행하는 것에 비해 계산 비용을 줄이면서도 정규화의 이점을 유지하기.

제안 방법

• 노이즈가 있는 입력 주변에서 손실 함수의 테일러 전개를 사용하여 입력 손상의 영향을 근사.
• 입력 노이즈에 의해 유도되는 페널티 항을 입력에 대한 모델 출력의 야코비안과 헤시안의 함수로 유도.
• 소규모 입력 변형에 대한 국소 불변성을 강제하기 위해 입력에 대한 모델의 야코비안의 L2 노름을 명시적으로 페널티 처리.
• Bishop의 근사법(1995)을 적용하여 입력 노이즈와 효과적인 정규화 목적 함수 간의 관계를 설정.
• 야코비안과 헤시안 페널티의 강도를 독립적으로 조절할 수 있는 하이퍼파라미터를 사용.
• 약한 노이즈 근사 근사를 통해 고차 도함수를 직접 계산하지 않고도 해석 가능한 정규화 항을 유도.

실험 결과

연구 질문

• RQ1 입력에 노이즈를 추가하면 목적 함수의 정규화 항에 어떤 영향을 미치는가?
• RQ2 예를 들어 헤시안과 같은 고차 도함수를 명시적인 계산 없이 효과적으로 정규화할 수 있는가?
• RQ3 야코비안과 헤시안 노름을 함께 페널티 처리했을 때 일반화 및 내성성에 어떤 영향을 미치는가?
• RQ4 기본적인 정규화 기법(예: 가중치 감쇠 또는 조기 정지)과 비교했을 때 테스트 오차 측면에서 제안된 방법은 어떻게 성능을 내는가?
• RQ5 손실 곡면의 평탄함을 제어하기 위해 정규화를 독립적으로 조정할 수 있는가?

주요 결과

• MNIST에서 제안된 방법은 테스트 오차 1.19%를 기록하여 표준 MLP(1.82%)와 다른 정규화 변형보다 뛰어난 성능을 보였다.
• MNIST-BINARY 데이터셋에서는 노이즈와 야코비안 정규화를 조합함으로써 오차를 1.51%로 줄였고, 표준 MLP의 2.01%에 비해 유의미하게 향상되었다.
• 그림 2에서 보듯이, 정규화된 모델은 입력 손상에 대해 더 뛰어난 내성성을 보였으며, 노이즈가 있는 입력에서도 일반화 오차가 낮았다.
• MNIST의 활성화 히스토GRAM 분석 결과, 정규화된 모델은 활성화를 선형 및 포화 영역으로 집중시키며, 더 평탄하고 안정적인 표현을 나타내었다.
• 이론적 분석을 통해 입력 노이즈가 야코비안과 헤시안을 포함한 정규화 항을 유도함을 확인했으며, 이는 명시적인 페널티 항을 통해 독립적으로 제어할 수 있다.
• 고차 도함수 계산을 직접 수행하는 것에 비해 계산 비용이 매우 낮으며, 표준 훈련에 비해 근소한 오버헤드만을 유발함으로써 효율적인 대안을 제공한다.