[論文レビュー] Deep Learning using Linear Support Vector Machines

Yichuan Tang|arXiv (Cornell University)|Jun 2, 2013

Anomaly Detection Techniques and Applications参考文献 19被引用数 741

ひとこと要約

この論文では、深層ニューラルネットワークのソフトマックス層を線形サポートベクターマシン（SVM）に置き換えることで分類性能を向上させる手法を提案している。交差エントロピーの代わりに微分可能なL2-SVM損失を使用することで、より優れた正則化が得られ、一般化性能が向上し、MNISTでは0.87%、CIFAR-10では11.9%という最先端の誤差率を達成した。

ABSTRACT

Recently, fully-connected and convolutional neural networks have been trained to achieve state-of-the-art performance on a wide variety of tasks such as speech recognition, image classification, natural language processing, and bioinformatics. For classification tasks, most of these "deep learning" models employ the softmax activation function for prediction and minimize cross-entropy loss. In this paper, we demonstrate a small but consistent advantage of replacing the softmax layer with a linear support vector machine. Learning minimizes a margin-based loss instead of the cross-entropy loss. While there have been various combinations of neural nets and SVMs in prior art, our results using L2-SVMs show that by simply replacing softmax with linear SVMs gives significant gains on popular deep learning datasets MNIST, CIFAR-10, and the ICML 2013 Representation Learning Workshop's face expression recognition challenge.

研究の動機と目的

• ソフトマックス層を線形SVMに置き換えることで、深層学習モデルにおける分類性能が向上するかどうかを調査すること。
• 交差エントロピー損失の代わりにマージンに基づくL2-SVM損失を用いることで、一般化性能とロバストネスに与える影響を評価すること。
• 性能向上の要因が目的関数の特性にあるのか、それとも最適化の能力向上にあるのかを特定すること。
• L2-SVMを用いたエンドツーエンドの訓練が、特徴の微調整やマルチステージパイプラインを必要とせずに、深層アーキテクチャで有効であることを示すこと。

提案手法

• 深層ニューラルネットワークの最終層にあるソフトマックス層を、微分可能なマージンに基づくヘッジ損失を最小化する線形L2-SVM層に置き換える。
• 確率的勾配降下法を用いてL2-SVMの原始問題を最適化し、ネットワーク全体にバックプロパゲーションが可能になるようにする。
• 標準のヘッジ損失（L1-SVM）よりも誤分類例に対してより強くペナルティを与えるため、二乗ヘッジ損失（L2-SVM）を用いる。
• ネットワーク全体をエンドツーエンドで訓練することで、SVMの目的関数と下位層の特徴が同時に最適化されるようにする。
• 一般化性能を向上させるために、データオーグメンテーション（ランダムな水平反転とジッタリング）および入力レベルのガウスノイズ（σ = 1.0、徐々に0に減少）を適用する。
• 各モデルごとに検証セットを用いて、学習率、重み減衰、SVMのCパラメータを別々に最適化する。

実験結果

リサーチクエスチョン

• RQ1 標準的な深層学習ベンチマークにおいて、ソフトマックス層を線形SVMに置き換えることでテスト精度が向上するか？
• RQ2 性能向上の要因はL2-SVMの目的関数にあるのか、それとも最適化能力の向上にあるのか？
• RQ3 正則化および一般化性能の観点から、L2-SVM損失は交差エントロピー損失と比べてどのように異なるか？
• RQ4 L2-SVM層を用いたエンドツーエンドの訓練が、教師なし事前学習や複雑なアーキテクチャを必要とせずに、最先端の結果を達成できるか？

主な発見

• DLSVMモデルは、同じ訓練条件下でソフトマックスベースラインの0.99%に対し、MNISTで0.87%のテスト誤差を達成した。
• CIFAR-10では、DLSVMモデルが11.9%のテスト誤差を達成したのに対し、ソフトマックスモデルは14.0%であったため、一貫した改善が確認された。
• DLSVMモデルでは、ヘッジ損失が0.313と低く抑えられ、交差エントロピー損失の0.353よりも優れていることから、マージン学習がより良好に行われていることが示された。
• DLSVMの重みで初期化したソフトマックスモデルは、さらなる訓練後に誤差が14.0%に上昇したため、DLSVMの目的関数が一般化に効果的であることが示唆された。
• 性能向上の主な要因は、L2-SVM損失の正則化特性に起因しており、最適化の利点によるものではない。
• 学習済みフィルタの可視化により、DLSVMで訓練されたネットワークは、よりテクスチャを含むフィルタを生成していることがわかった。