[論文レビュー] Detecting Memorization in ReLU Networks

Edo Collins, Siavash Bigdeli+1 more|arXiv (Cornell University)|Oct 8, 2018

Neural Networks and Reservoir Computing参考文献 25被引用数 4

ひとこと要約

本稿では、単一クラスの入力バッチに対して非負値行列分解（NMF）を用いて深層層の活性化の非線形性を測定することにより、ReLUニューラルネットワークにおける記憶の検出に新たな手法を提案する。この手法により、深層層における高い非線形性が記憶と強く相関していることが明らかとなり、NMF圧縮性能の曲線下積分面積（AuC）を追跡することで、過学習を防ぐための有効な早期停止が可能になる。

ABSTRACT

We propose a new notion of `non-linearity' of a network layer with respect to an input batch that is based on its proximity to a linear system, which is reflected in the non-negative rank of the activation matrix. We measure this non-linearity by applying non-negative factorization to the activation matrix. Considering batches of similar samples, we find that high non-linearity in deep layers is indicative of memorization. Furthermore, by applying our approach layer-by-layer, we find that the mechanism for memorization consists of distinct phases. We perform experiments on fully-connected and convolutional neural networks trained on several image and audio datasets. Our results demonstrate that as an indicator for memorization, our technique can be used to perform early stopping.

研究の動機と目的

• 重みスケーリングなどの可逆変換に対して頑健である、活性化に基づく記憶の信頼性の高い指標を深層ReLUネットワークで特定すること。
• 活性化行列の非負値行列分解（NMF）による非線形性の測定が、一般化性能の悪化と相関するかを調査すること。
• 提案手法が訓練中に過学習を防ぐために実用的な早期停止基準として機能できるかを評価すること。
• NMF、主成分分析（PCA）、およびランダムアブレーションを比較し、記憶検出における各手法の圧縮ベースの頑健性指標としての感受性を評価すること。

提案手法

• 入力バッチに対するReLU層の非線形性を、その線形システムへの近接度として定義し、活性化行列の非負値ランクで定量化する。
• 単一クラスバッチからの活性化行列に近似非負値行列分解（NMF）を適用し、近似ランク$k$のグリッド上で非線形性を推定する。
• NMF圧縮された活性化の精度と$k$の関係における曲線下積分面積（AuC）を測定し、頑健性を評価し、記憶を検出する。
• NMF、PCA、ランダムアブレーションの各手法について、それぞれのAuC曲線を計算し、一般化誤差との相関を評価する。
• 層ごとの分析を実施し、訓練過程における非線形性の進行を追跡する。
• 単一クラスNMFのAuCをリアルタイムの信号として用い、記憶が開始されると早期停止をトリガーする。

実験結果

リサーチクエスチョン

• RQ1 活性化行列の非負値ランクで測定される、深層ReLU層の非線形性が記憶の信頼性の高い指標として機能するか？
• RQ2 単一クラスと多クラスの入力バッチにおける活性化の非線形性にはどのような違いがあり、これにより記憶に関する何が明らかになるか？
• RQ3 NMFに基づく非線形性測定が、PCA やランダムアブレーションよりも一般化誤差とより強く相関するか？
• RQ4 NMFに基づくAuC曲線を用いて、訓練中に記憶の兆候を検出し、効果的な早期停止を可能にすることができるか？

主な発見

• 単一クラスバッチに対するNMFによる測定で得られる深層層の高い非線形性は、記憶の強力な指標であり、多クラスバッチと比較して顕著である。
• CIFAR-10におけるNMFベースのAuC曲線は、一般化誤差とピアソン相関係数-0.82を示し、PCA（-0.64）やランダムアブレーション（-0.61）を上回る性能を示した。
• NMFのAuC曲線のピークは、テスト損失の局所的最小値とほぼ完全に一致しており、過学習の兆候を高精度に検出できることを示している。
• 本手法は、画像および音声データセットで学習された全結合層および畳み込み層の両方において、記憶を効果的に同定できた。
• 層ごとの分析により、記憶が明確な段階を経て発生することが判明し、訓練が進むにつれて深層部で非線形性が著しく増加した。
• 提案手法によるNMFベースのアプローチは、テスト誤差が上昇し始める直前にAuC曲線が最大値に達することから、効果的な早期停止が可能であることが示された。