[論文レビュー] DNN or k-NN: That is the Generalize vs. Memorize Question

Guy Cohen, Guillermo Sapiro+1 more|arXiv (Cornell University)|May 17, 2018

Neural Networks and Applications参考文献 27被引用数 13

ひとこと要約

この論文は、深層ニューラルネットワーク（DNN）が同時に一般化と記憶を行う仕組みを、学習された特徴表現に適用したk-NN、SVM、ロジスティック回帰分類器との比較を通じて調査する。DNNは一般化する際、埋め込み空間でk-NNの意思決定を近似するが、記憶する際にはk-NNの挙動から逸脱する。これは、記憶と一般化が共存し、補完的であるが、相反するものではないことを示している。

ABSTRACT

This paper studies the relationship between the classification performed by deep neural networks (DNNs) and the decision of various classical classifiers, namely k-nearest neighbours (k-NN), support vector machines (SVM) and logistic regression (LR), at various layers of the network. This comparison provides us with new insights as to the ability of neural networks to both memorize the training data and generalize to new data at the same time, where k-NN serves as the ideal estimator that perfectly memorizes the data. We show that memorization of non-generalizing networks happens only at the last layers. Moreover, the behavior of DNNs compared to the linear classifiers SVM and LR is quite the same on the training and test data regardless of whether the network generalizes. On the other hand, the similarity to k-NN holds only at the absence of overfitting. Our results suggests that k-NN behavior of the network on new data is a sign of generalization. Moreover, it shows that memorization and generalization, which are traditionally considered to be contradicting to each other, are compatible and complementary.

研究の動機と目的

• 一般化と記憶が従来は相反すると見なされてきた深層ニューラルネットワークにおける両者の共存を調査すること。
• DNNの意思決定境界が、ネットワークの各層において、古典的分類器（k-NN、SVM、LR）とどのように比較できるかを分析し、一般化と記憶のメカニズムを理解すること。
• 特徴空間におけるk-NNの挙動が、DNNにおける一般化と記憶の兆候として役立つかどうかを特定すること。
• 記憶がネットワークアーキテクチャのどの段階で、またいつ発生するかを特定し、特に学習ダイナミクスと過学習の関係を明らかにすること。
• DNNの予測とk-NNの意思決定との整合性が、一般化性能の指標として機能するかを検討すること。

提案手法

• データオーグメンテーションや正則化を有無で変化させたCIFAR-10/100およびMNISTデータセットに対して、標準的なDNN（Wide-ResNet、LeNet、MLP）を訓練し、過学習を制御する。
• 各隠れ層から特徴表現を抽出し、それらの埋め込みにk-NN、SVM、ロジスティック回帰分類器を適用する。
• Kullback-Leibler（KL）ダイバージェンスを指標として用い、DNNのソフトマックス出力分布と古典的分類器の予測を比較する。
• 訓練の全過程にわたり、訓練集合およびテスト集合の両方で、DNNの予測と各古典的分類器（k-NN、SVM、LR）の予測との間のKLダイバージェンスを追跡する。
• 訓練精度が最初に100％に達する点を記憶と定義し、この時点で訓練集合とテスト集合のKLダイバージェンスのトレンドの乖離を分析する。
• DNNとk-NNの予測が一致する確率（P_SAME）を用い、訓練過程におけるk-NNに類似した挙動の度合いを定量化する。

実験結果

リサーチクエスチョン

• RQ1 DNNの予測挙動は、学習された特徴空間でk-NNの意思決定と一致するか。どのような条件下で一致するか。
• RQ2 DNNの予測と古典的分類器（k-NN、SVM、LR）との類似性は、訓練過程でどのように変化するか。特に一般化と記憶の関係において。
• RQ3 記憶はネットワークのどの層に主に発生するか。また、一般化性能とどのように関連するか。
• RQ4 k-NNとDNNの間のKLダイバージェンスのトレンドが、訓練集合とテスト集合で乖離するかどうかは、過学習や記憶の兆候となるか。
• RQ5 DNNの特徴空間におけるk-NNの挙動は一般化の兆候であり、ランダムラベルの学習や過学習によって消失するか。

主な発見

• DNNは、一般化がうまくいく場合に限り、特徴空間でk-NNに類似した挙動を示す。記憶が発生すると、この整合性は崩れる。
• 一般化の間は、DNNとk-NNの予測のKLダイバージェンスが訓練集合とテスト集合で一貫したトレンドを示すが、記憶に達すると、特にテスト集合で乖離が生じる。
• 本物のデータで訓練された深層ネットワークでは、訓練終了時にDNNとk-NNが同じ予測を行う確率が100％に近づく。これは、k-NNの強い近似であることを示している。
• 記憶は主にネットワークの最終層で発生する。訓練精度が100％に急上昇し、KLダイバージェンスのトレンドが乖離するのを観察できる。
• ラベルをランダム化して学習した場合、記憶直後にはDNNとk-NNのKLダイバージェンスが訓練集合とテスト集合で直ちに乖離し、過学習が確認される。
• k-NNとDNNのKLダイバージェンスのトレンドが訓練集合とテスト集合で一貫しているかどうかは、一般化の信頼できる指標であり、乖離は過学習を示唆する。