[論文レビュー] Neural Network Memorization Dissection

Jindong Gu, Volker Tresp|arXiv (Cornell University)|Nov 21, 2019

Generative Adversarial Networks and Image Synthesis参考文献 17被引用数 6

ひとこと要約

この論文は、深層ニューラルネットワーク（DNN）が学習する内容と記憶する内容を区別する勾配ベースの手法を提案している。勾配の大きさを分析し、GANベースの最適化を用いて学習された特徴を比較することで、DNNは一貫して単純で共有されるパターン（1つの学習方法）を学習するが、特にラベルがランダムな場合、非常に多様でモデル固有の経路を通じて個々の訓練サンプルを記憶する（N通りの記憶方法）ことが判明した。

ABSTRACT

Deep neural networks (DNNs) can easily fit a random labeling of the training data with zero training error. What is the difference between DNNs trained with random labels and the ones trained with true labels? Our paper answers this question with two contributions. First, we study the memorization properties of DNNs. Our empirical experiments shed light on how DNNs prioritize the learning of simple input patterns. In the second part, we propose to measure the similarity between what different DNNs have learned and memorized. With the proposed approach, we analyze and compare DNNs trained on data with true labels and random labels. The analysis shows that DNNs have extit{One way to Learn} and extit{N ways to Memorize}. We also use gradient information to gain an understanding of the analysis results.

研究の動機と目的

• 訓練中にDNNが単純な入力パターンをどのように優先して学習するかを理解すること。
• 異なるDNNが学習した内容と記憶した内容の類似度を測定する手法を開発すること。
• 実際のラベルとランダムラベルを用いて訓練したDNNの学習行動と記憶行動を比較すること。
• 異なるDNNアーキテクチャーやランダム初期化が、一貫した学習関数を生むのか、あるいは分岐する記憶パターンを示すのかを調査すること。

提案手法

• 勾配の大きさ $ \overline{G} $ は、すべての訓練入力に対して勾配の絶対値の平均として計算され、訓練中の学習ダイナミクスを追跡する。
• 各クラスの活性化を最大化する入力パターン $ \boldsymbol{x}^{j*} $ を生成するために、GANベースの最適化が用いられ、これがモデルが学習した内容を表す。
• 異なるモデル間の不一致は、式2を用いて測定され、異なるモデルからの最適化されたパターン間の平均距離が計算される。
• 学習と記憶行動を比較するために、実際のラベル（$ \mathbb{X}^{T} $）とランダムラベル（$ \mathbb{X}^{R} $）の両方のデータセットでモデルを訓練する。
• このアプローチでは、潜在変数 $ \boldsymbol{z} $ を勾配上昇法で最適化し、DNNの内部表現を反映する画像 $ G(\boldsymbol{z}) $ を生成する。
• 実験では、異なるランダムシード、アーキテクチャ（VGG11, VGG13, ResNet32）、およびデータノイズレベルで訓練されたモデルを比較し、一貫性と乖離の度合いを評価する。

実験結果

リサーチクエスチョン

• RQ1 ラベルがランダムな場合、DNNは訓練の初期段階で単純なパターンの学習をどのように優先するのか？
• RQ2 実際のラベルで訓練されたDNNにおいて、異なるランダム初期化やアーキテクチャの下で、学習関数はどの程度一貫しているのか？
• RQ3 同じランダムラベルデータセットで訓練されたDNNにおいて、初期化が異なる場合、記憶パターンはどのように異なるのか？
• RQ4 勾配ダイナミクスとDNNにおける学習と記憶の出現の関係は何か？
• RQ5 ラベルノイズを増加させると、異なるモデル間での学習関数と記憶表現の類似度はどのように変化するのか？

主な発見

• 実際のラベルで訓練されたDNNは、一貫した訓練軌道と勾配ダイナミクスを示し、共有パターンを学習する一貫した安定した方法があることを示している。
• 実際のラベルで訓練されたモデルは、初期化やアーキテクチャに関係なく、学習された特徴において非常に低い不一致（図3の青色の棒）を示しており、類似した内部表現に収束していることが確認された。
• 一方、ランダムラベルで訓練されたモデルは、高い不一致（図3の黄色の棒）を示しており、個々の訓練サンプルを記憶するN通りの異なる方法があることが示された。
• 勾配の大きさ $ \overline{G} $ は、適合段階で急激に増加し、ランダムラベル訓練では明確な「探索段階」が観察され、実際のラベル訓練では直接的な適合が見られる。これは最適化ダイナミクスの違いを反映している。
• 重み減衰やデータオーグメンテーションを適用しても、ランダムラベルで訓練されたDNNの記憶パターンは、実行ごとに依然として非常に多様であり、N通りの記憶方法現象が確認された。
• ラベルノイズが増加するにつれて、DNNの学習関数の類似度が段階的に低下し、学習から記憶へのシフトが生じることが示された。