[論文レビュー] Implicit Regularization of Stochastic Gradient Descent in Natural Language Processing: Observations and Implications

Deren Lei, Zichen Sun+2 more|arXiv (Cornell University)|Nov 1, 2018

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 7

ひとこと要約

本論文は、自然言語処理（NLP）の過パラメータ化された深層学習モデルにおける確率的勾配降下法（SGD）の暗黙的正則化効果を調査する。多様なNLPタスクにおける広範な実証的評価を通じて、純粋なSGDが、データ不足、ラベルの汚染、重み初期化の違いといった状況下でも一貫して汎化可能な極小値に収束することを示している。これはミニバッチSGDやドロップアウトなどの明示的正則化と併用しても優れている。主な発見は、SGDの暗黙的インダクティブバイアスが強く、本質的で、明示的正則化を用いずに一般化性能の向上を図る実用的な道筋を提供することである。

ABSTRACT

Deep neural networks with remarkably strong generalization performances are usually over-parameterized. Despite explicit regularization strategies are used for practitioners to avoid over-fitting, the impacts are often small. Some theoretical studies have analyzed the implicit regularization effect of stochastic gradient descent (SGD) on simple machine learning models with certain assumptions. However, how it behaves practically in state-of-the-art models and real-world datasets is still unknown. To bridge this gap, we study the role of SGD implicit regularization in deep learning systems. We show pure SGD tends to converge to minimas that have better generalization performances in multiple natural language processing (NLP) tasks. This phenomenon coexists with dropout, an explicit regularizer. In addition, neural network's finite learning capability does not impact the intrinsic nature of SGD's implicit regularization effect. Specifically, under limited training samples or with certain corrupted labels, the implicit regularization effect remains strong. We further analyze the stability by varying the weight initialization range. We corroborate these experimental findings with a decision boundary visualization using a 3-layer neural network for interpretation. Altogether, our work enables a deepened understanding on how implicit regularization affects the deep learning model and sheds light on the future study of the over-parameterized model's generalization ability.

研究の動機と目的

• 確率的勾配降下法（SGD）が、NLPタスクの実用的で過パラメータ化された深層学習モデルにおいて、暗黙的正則化を示すかどうかを調査すること。
• ドロップアウトなどの明示的正則化子とSGDの暗黙的正則化がどのように相互作用するかを評価すること。
• 限られた学習データや汚染されたラベルといった困難なデータ条件下でも、SGDの暗黙的正則化の安定性を評価すること。
• 重み初期化の範囲が、深層ニューラルネットワークにおける暗黙的正則化の強度に与える影響を調査すること。
• 最適化ダイナミクスと意思決定境界の分析を通じて、過パラメータ化モデルの一般化行動に関する実証的知見を提供すること。

提案手法

• テキスト分類や言語モデリングを含む、複数のNLPタスクにおける純粋なSGD（バッチサイズ = 1）とミニバッチSGDの実証的評価。
• データ量、ラベル汚染度（0.1から0.3）、重み初期化範囲の系統的アブレーションを実施し、暗黙的正則化への影響を分離すること。
• 3層のフィードフォワードネットワークにおける意思決定境界の可視化を用いて、モデルの挙動と収束パターンを解釈すること。
• 異なるバッチサイズと初期化スキームにおける一般化性能の比較を通し、制御された実験により暗黙的正則化効果を分離すること。
• ドロップアウトとSGDの相互作用を評価するため、さまざまなバッチサイズとラベルノイズ下での一般化性能を測定すること。
• 汚染度と初期化範囲の変動に伴うテスト精度と収束行動の定量的分析を通じて、暗黙的正則化のロバストネスを評価すること。

実験結果

リサーチクエスチョン

• RQ1 深層学習システムにおけるSGDの暗黙的正則化は存在するのか。また、最新のモデルでどのように活用できるか。
• RQ2 明示的正則化（例：ドロップアウト）がSGDの暗黙的正則化の強度と観察可能性に与える影響は何か。
• RQ3 学習データが少なくなったり、ラベルノイズが高くなった場合でも、SGDの暗黙的正則化はロバストか。
• RQ4 重み初期化の範囲が、SGDで訓練される深層ネットワークにおける暗黙的正則化の強度に与える影響は何か。
• RQ5 ラベルが汚染された状況下でも暗黙的正則化が保持されるか。これは過パラメータ化モデルの一般化に何を示唆するか。

主な発見

• 純粋なSGDは、大きなバッチサイズであっても、ミニバッチSGDよりも一般化性能が優れた極小値に一貫して収束する。
• ドロップアウトを適用してもSGDの暗黙的正則化効果が持続することから、ドロップアウトがSGDのインダクティブバイアスを完全に置き換えるか、あるいは排除するわけではない。
• 学習データ量が10％にまで減少しても、一般化性能はゆっくりと低下し、全テストデータスケールで暗黙的正則化が観察される。
• ラベル汚染（最大30％のノイズ）下では、最高の汚染度（0.3）でのみ暗黙的正則化効果が弱まることが示され、中程度のノイズに対してはロバストである。
• 重み初期化範囲が小さいモデルはより強い暗黙的正則化を示すが、すべての範囲で単調減少的ではない。
• 適切な初期化のもとで、わずかに大きなバッチサイズ（例：5）を用いることで、暗黙的正則化を維持しつつ、学習速度を著しく向上できる。これは実用的なトレードオフを提供する。