[論文レビュー] Regularisation in neural networks: a survey and empirical analysis of approaches

Christiaan P. Opperman, Anna Sergeevna Bosman+1 more|arXiv (Cornell University)|Jan 30, 2026

Advanced Neural Network Applications被引用数 0

ひとこと要約

論文はニューラルネットワークの正則化手法を概観し、四カテゴリの分類法を提供し、相互作用/矛盾を議論し、データセットとアーキテクチャに跨る手法を経験的に検証してデータセット/タスク依存の有効性を評価します。

ABSTRACT

Despite huge successes on a wide range of tasks, neural networks are known to sometimes struggle to generalise to unseen data. Many approaches have been proposed over the years to promote the generalisation ability of neural networks, collectively known as regularisation techniques. These are used as common practice under the assumption that any regularisation added to the pipeline would result in a performance improvement. In this study, we investigate whether this assumption holds in practice. First, we provide a broad review of regularisation techniques, including modern theories such as double descent. We propose a taxonomy of methods under four broad categories, namely: (1) data-based strategies, (2) architecture strategies, (3) training strategies, and (4) loss function strategies. Notably, we highlight the contradictions and correspondences between the approaches in these broad classes. Further, we perform an empirical comparison of the various regularisation techniques on classification tasks for ten numerical and image datasets applied to the multi-layer perceptron and convolutional neural network architectures. Results show that the efficacy of regularisation is dataset-dependent. For example, the use of a regularisation term only improved performance on numeric datasets, whereas batch normalisation improved performance on image datasets only. Generalisation is crucial to machine learning; thus, understanding the effects of applying regularisation techniques, and considering the connections between them is essential to the appropriate use of these methods in practice.

研究の動機と目的

• 正則化技術をデータベース、アーキテクチャ、トレーニング、損失関数戦略の4つの大分類に分類する分類法を提示する。
• 各手法の根拠を要約し、実装の指針と文献参照を提供する。
• 技術間の矛盾と対応関係を強調し、実務的な意思決定を支援する。
• 複数のデータセットとNNアーキテクチャにおいて選択された正則化手法を経験的に比較し、一般化の改善と限界を評価する。
• データセットのタイプとモデルサイズに応じた正則化の効果の変化を評価し、普遍性仮説に挑戦する。

提案手法

• 正則化手法をサブカテゴリとカテゴリ間の関連を含む分類法として提案する。
• 各手法の根拠と実装の詳細に関する参照を提供する。
• 2つのNNアーキテクチャ（MLPとCNN）を対象に、10個の数値データセットと画像データセットを横断してベンチマークテストを実施する。
• 幾何変換、SMOTE、重みの摂動、剪定、ドロップアウト、バッチ正規化、レイヤー正規化、重み正規化、正則化項を含む手法を評価する。
• 技法間の相互作用と潜在的な対立、実践への影響について議論する。
• 損失景観の二乗化/平坦性の概念と関連する正則化文献からの経験則を参照する。

Figure 1 : A tree representation of the proposed taxonomy of regularisation methods.

実験結果

リサーチクエスチョン

• RQ1 正則化技法はデータセットとアーキテクチャ全体で普遍的に一般化を改善するか？
• RQ2 データベース正則化、アーキテクチャ正則化、トレーニング正則化、損失正則化の各方法は相互にどのように作用・対立するか？
• RQ3 特定の正則化手法が利益をもたらす条件はどれか（データセットタイプ、モデルサイズ）？
• RQ4 二重降下現象と過剛性化のような現象は正則化技術の有効性にどう影響するか？

主な発見

• 正則化の有効性はデータセットに依存し、普遍的に有益とは限らない。
• いくつかの手法（例：バッチ正規化）は画像データセットで性能を向上させる一方、他の正則化手法は数値データセットでのみ効果を発揮することがある。
• ドロップアウトは小さなモデルやデータセットでは効果が薄い場合があり、正則化技術の普遍性に疑問を投げかける。
• 技法間には顕著な矛盾が存在する（例：早期停止 vs.過学習）があり、慎重な検討が必要である。
• 技法間には対応関係と潜在的な相乗効果があり（例：データ拡張と剪定、転移学習と事前学習） further studyが必要。
• 分類法はタスクとデータに基づいて正則化アプローチを選択・組み合わせる際の実践的な出発点を提供する。

(a) Diabetes Dataset