[論文レビュー] Regularization for Deep Learning: A Taxonomy

Jan Kukačka, Vladimir Golkov+1 more|arXiv (Cornell University)|Oct 29, 2017

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 186

ひとこと要約

本論文は深層学習における正則化手法の統一的な分類法を提案し、データ、アーキテクチャ、誤差項、正則化項、最適化によってアプローチを分類し、実践的な指針を提供する。

ABSTRACT

Regularization is one of the crucial ingredients of deep learning, yet the term regularization has various definitions, and regularization methods are often studied separately from each other. In our work we present a systematic, unifying taxonomy to categorize existing methods. We distinguish methods that affect data, network architectures, error terms, regularization terms, and optimization procedures. We do not provide all details about the listed methods; instead, we present an overview of how the methods can be sorted into meaningful categories and sub-categories. This helps revealing links and fundamental similarities between them. Finally, we include practical recommendations both for users and for developers of new regularization methods.

研究の動機と目的

• 深層学習における正則化手法を体系的かつ統一的に分類する枠組みを提供する。
• データ・アーキテクチャ・損失・最適化の各成分間で、異なる正則化技法の関係性を明らかにする。
• 正則化戦略を設計する研究者や開発者への実践的な提案を提供する。
• 一見異なる正則化手法間のつながりと共通原理を浮き彫りにする。

提案手法

• 正則化手法を五つの主要軸（データ、ネットワークアーキテクチャ、誤差項、正則化項、最適化手順）に整理する。
• 手がかりとなる下位カテゴリーを含む作業用分類法を定義し、手法間のリンクと根本的な類似点を明らかにする。
• データベース変換、データ拡張、ターゲットを保持する拡張を主要な正則化機構として論じる。
• 重み・入力・出力などの依存性および訓練/テストといった位相で正則化項を分類する枠組みを提示する。
• 網羅的な実装詳細というよりも、上位レベルの説明と分類を提供する。

実験結果

リサーチクエスチョン

• RQ1 深層学習における正則化技術を、意味のあるグループに体系的に分類するにはどのようにすればよいか。
• RQ2 伝統的に別々に扱われてきた手法（データ、アーキテクチャ、損失、最適化）間のつながりと共通点は何か。
• RQ3 正則化手法の選択と設計において、実務者や開発者へどのような実践的な指針を示せるか。
• RQ4 無ラベルデータと半教師ありアプローチを正則化フレームワークにどのように組み込めるか。

主な発見

• データ、アーキテクチャ、誤差項、正則化項、最適化手順で正則化手法を分類する統一的な分類法を提案する。
• 多くの技術（例：データ拡張、ドロップアウト、バッチ正規化）を共通のデータに基づく正則化フレームワークの下で見なせることを示す。
• 正則化がターゲットに依存しない正則化項を通じて無ラベルデータを活用できることを実証し、半教師ありアプローチを可能にする。
• 正則化手法の選択と組み合わせに関する実務的な推奨を利用者と開発者に提供する。
• 一見異なる手法間の構造的なつながりを明らかにし、特定の手法がいつ、なぜ汎化を正則化するのかを明確にする。