[논문 리뷰] Regularisation in neural networks: a survey and empirical analysis of approaches

Christiaan P. Opperman, Anna Sergeevna Bosman외 1명|arXiv (Cornell University)|2026. 01. 30.

Advanced Neural Network Applications인용 수 0

한 줄 요약

이 논문은 신경망의 정규화 기법을 조사하고 네 가지 범주 체계를 제공하며 상호작용/모순을 논의하고 데이터셋 및 태스크 의존적 효능을 실증적으로 테스트하여 평가한다.

ABSTRACT

Despite huge successes on a wide range of tasks, neural networks are known to sometimes struggle to generalise to unseen data. Many approaches have been proposed over the years to promote the generalisation ability of neural networks, collectively known as regularisation techniques. These are used as common practice under the assumption that any regularisation added to the pipeline would result in a performance improvement. In this study, we investigate whether this assumption holds in practice. First, we provide a broad review of regularisation techniques, including modern theories such as double descent. We propose a taxonomy of methods under four broad categories, namely: (1) data-based strategies, (2) architecture strategies, (3) training strategies, and (4) loss function strategies. Notably, we highlight the contradictions and correspondences between the approaches in these broad classes. Further, we perform an empirical comparison of the various regularisation techniques on classification tasks for ten numerical and image datasets applied to the multi-layer perceptron and convolutional neural network architectures. Results show that the efficacy of regularisation is dataset-dependent. For example, the use of a regularisation term only improved performance on numeric datasets, whereas batch normalisation improved performance on image datasets only. Generalisation is crucial to machine learning; thus, understanding the effects of applying regularisation techniques, and considering the connections between them is essential to the appropriate use of these methods in practice.

연구 동기 및 목표

• 정규화 기법의 네 가지 광범위한 범주로 분류하는 체계를 제시한다(데이터 기반, 아키텍처 기반, 학습 기반, 손실 함수 전략).
• 각 기법의 타당성을 요약하고 구현 지침 및 참고문헌을 제시한다.
• 실용적 의사결정을 돕기 위해 기법 간의 모순점과 상관점을 강조한다.
• 여러 데이터셋과 NN 아키텍처에서 선택된 정규화 방법을 실증적으로 비교하여 일반화 개선과 한계를 평가한다.
• 정규화의 효과가 데이터셋 유형과 모델 크기에 따라 어떻게 달라지는지 평가해 보편성 가정에 도전한다.

제안 방법

• 하위 범주 및 범주 간 교차 관계를 포함한 정규화 기법의 분류체계를 제안한다.
• 각 기법에 대한 근거를 제시하고 구현 세부사항에 대한 참고문헌을 제시한다.
• 두 가지 NN 아키텍처(MLP 및 CNN)에서 10개 수치 및 이미지 데이터셋에 대해 벤치마크 테스트를 수행한다.
• 다음 기법들을 포함하여 평가한다: 기하학적 변환, SMOTE, 가중치 섭동, 가지치기, 드롭아웃, 배치 정규화, 계층 정규화, 가중치 정규화, 그리고 정규화 항.
• 기술 간의 상호작용과 잠재적 충돌 및 실무에 대한 시사점을 논의한다.
• 손실 지형의 이중성(doubling) 및 평탄성(flatness) 개념 및 관련 정규화 문헌에서의 실증적 관찰을 언급한다.

Figure 1 : A tree representation of the proposed taxonomy of regularisation methods.

실험 결과

연구 질문

• RQ1 정규화 기법이 데이터셋과 아키텍처 전반에서 보편적으로 일반화를 향상시키는가?
• RQ2 데이터 기반, 아키텍처 기반, 학습 기반, 손실 기반 정규화 방법은 서로 어떻게 상호작용하거나 상충하는가?
• RQ3 특정 데이터셋 유형이나 모델 크기 조건에서 특정 정규화 방법이 일반화에 이익을 주거나 해를 주는가?
• RQ4 더블 디센트(double descent)와 과매개화(over-parameterisation)와 같은 현상이 정규화 기법의 효과에 어떤 영향을 미치는가?

주요 결과

• 정규화의 효율성은 데이터셋에 의존적이며 보편적으로 유익하지 않다.
• 일부 방법(예: 배치 정규화)은 이미지 데이터셋에서 성능을 향상시키는 반면, 다른 정규화 기법은 수치 데이터셋에만 도움이 될 수 있다.
• 드롭아웃은 작은 모델이나 데이터셋에서 비효과적일 수 있어 정규화 기법의 보편성에 의문을 제기한다.
• 기술 간의 뚜렷한 모순이 존재한다(예: 조기 중단 vs. 과적합 트레이닝).
• 기술 간의 대응과 시너지 가능성(예: 데이터 증강과 가지치기, 사전 학습과 전이 학습)이 더 연구될 필요가 있다.
• 이 분류체계는 작업 및 데이터를 기반으로 정규화 방법을 선택하고 결합하는 실용적 출발점을 제공한다.

(a) Diabetes Dataset