[論文レビュー] On the Decision Boundary of Deep Neural Networks

Li Yu, Lizhong Ding+1 more|arXiv (Cornell University)|Aug 16, 2018

Adversarial Robustness in Machine Learning参考文献 30被引用数 31

ひとこと要約

この論文は、弱い仮定の下で、深層ニューラルネットワークの最終重み層が、最後の隠れ層からの特徴量上で訓練された線形SVMの解に収束することを、理論的および実験的に示している。交差エントロピー損失を用いた二値分類および多値分類において、損失がゼロに収束すると、意思決定境界はSVMのものと一致し、ネットワーク全体の学習によりバイアス定数が向上し、一般化性能が向上する。

ABSTRACT

While deep learning models and techniques have achieved great empirical success, our understanding of the source of success in many aspects remains very limited. In an attempt to bridge the gap, we investigate the decision boundary of a production deep learning architecture with weak assumptions on both the training data and the model. We demonstrate, both theoretically and empirically, that the last weight layer of a neural network converges to a linear SVM trained on the output of the last hidden layer, for both the binary case and the multi-class case with the commonly used cross-entropy loss. Furthermore, we show empirically that training a neural network as a whole, instead of only fine-tuning the last weight layer, may result in better bias constant for the last weight layer, which is important for generalization. In addition to facilitating the understanding of deep learning, our result can be helpful for solving a broad range of practical problems of deep learning, such as catastrophic forgetting and adversarial attacking. The experiment codes are available at https://github.com/lykaust15/NN_decision_boundary

研究の動機と目的

• データおよびモデルアーキテクチャに関する最小限の仮定の下で、深層ニューラルネットワークの意思決定境界を理解すること。
• stochastic gradient descent (SGD) の暗黙のバイアス、特に最終分類器層に関するものを探る。
• 単純化されたモデルの理論的分析と実際の深層学習性能の間のギャップを埋めること。
• ネットワーク全体の学習と最終層のファインチューニングの違いが、バイアス定数および一般化性能に与える影響を調査すること。
• 継続的忘却やデータ効率性といった実践的課題に対する理論的・実験的根拠を提供すること。

提案手法

• 損失がゼロに収束すると仮定し、線形分離可能性や特定のデータ分布を要件としない理論的分析を実施。
• ネットワークを変換関数（最後の隠れ層）と最終線形分類器（最後の重み層）に分解し、後者がある変換された特徴量上でSVM解に収束することを示した。
• 多値分類においては、交差エントロピー損失を分析し、多クラス線形SVM解への収束を示した。
• CIFAR-10およびMNISTを用い、ResNetおよびDenseNetアーキテクチャで実験的検証を実施し、最終層のSVM意思決定境界への収束を評価。
• ネットワーク全体の学習とファインチューニングの両方において、最終層のバイアス定数を比較し、前者がより良い一般化性能を示すことを明らかにした。
• 勾配ダイナミクスからの理論的支援により、学習が進むにつれて、最終的な重み方向に影響するのはサポートベクタ（最大マージンのサンプル）のみであることが示された。

実験結果

リサーチクエスチョン

• RQ1 トレーニング損失がゼロに収束する場合、深層ニューラルネットワークの最終重み層は線形SVM解に収束するか？
• RQ2 バイアス定数および一般化性能の観点から、ネットワーク全体の学習と最終層のファインチューニングの違いは何か？
• RQ3 深層ネットワークの意思決定境界は、最後の隠れ層の特徴量上で訓練されたSVMのものと同等とみなせるか？
• RQ4 変換関数が深層学習におけるデータ効率性および一般化性能を決定づける役割を果たすか？
• RQ5 レハーサルベースの手法SupportNetが実際によく機能する理由は何か？理論的に説明可能か？

主な発見

• 二値分類および多値分類の両方において、交差エントロピー損失を用いた場合、最終重み層の方向は、最後の隠れ層からの特徴量上で訓練された線形SVMの解に収束する。
• 実験的結果から、ネットワーク全体の学習はファインチューニングよりも最終層のバイアス定数を改善しており、一般化性能の向上に寄与することが分かった。
• データが線形分離可能でない場合でも、損失がゼロに収束する限り、SVM解への収束は成立する。
• 理論的分析により、学習が進むにつれて、勾配に寄与するのはサポートベクタ（最小マージンのサンプル）のみであることが確認され、SGDの暗黙のバイアスが説明された。
• この結果は、継続的忘却の回避に効果的なSupportNetレハーサルフレームワークの実験的成功を説明している。これは、SVMのサポートベクタに対応するサンプルを選択するからである。
• 本研究の結果から、深層学習におけるデータ効率性は、主に最終線形分類器ではなく、変換関数に制限されていることが示唆され、限られたデータでも効果的な転移学習が可能であると考えられる。