[論文レビュー] Large Margin Deep Networks for Classification

Gamaleldin F. Elsayed, Dilip Krishnan+3 more|arXiv (Cornell University)|Mar 15, 2018

Adversarial Robustness in Machine Learning参考文献 29被引用数 16

ひとこと要約

本稿では、任意の層（入力層、隠れ層、出力層）において任意の lp 範囲（p ≥ 1）を用いて、大きなマージンを強制する、深層学習用の新規損失関数を提案する。この手法により、一般化性能、ラベルノイズに対するロバスト性、および adversarial ロバスト性が向上する。本手法は、MNIST、CIFAR-10、ImageNet において最先端の性能を達成し、データ不足、ラベルノイズ、 adversarial 攻撃の下で、標準的な交差エントロピー損失を上回る精度を示す。特に l1 および l∞ マージン制約において顕著な向上が見られる。

ABSTRACT

We present a formulation of deep learning that aims at producing a large margin classifier. The notion of margin, minimum distance to a decision boundary, has served as the foundation of several theoretically profound and empirically successful results for both classification and regression tasks. However, most large margin algorithms are applicable only to shallow models with a preset feature representation; and conventional margin methods for neural networks only enforce margin at the output layer. Such methods are therefore not well suited for deep networks. In this work, we propose a novel loss function to impose a margin on any chosen set of layers of a deep network (including input and hidden layers). Our formulation allows choosing any norm on the metric measuring the margin. We demonstrate that the decision boundary obtained by our loss has nice properties compared to standard classification loss functions. Specifically, we show improved empirical results on the MNIST, CIFAR-10 and ImageNet datasets on multiple tasks: generalization from small training sets, corrupted labels, and robustness against adversarial perturbations. The resulting loss is general and complementary to existing data augmentation (such as random/adversarial input transform) and regularization techniques (such as weight decay, dropout, and batch norm).

研究の動機と目的

• 深層学習の訓練手法を開発し、出力層に限らず、ニューラルネットワークの任意の層において大きなマージンを強制すること。
• マージンに基づく正則化を活用することで、データ不足およびラベルノイズ下での一般化性能を向上させること。
• 入力空間または隠れ空間において明示的なマージン強制を実施することで、 adversarial パーティクルに対するロバスト性を高めること。
• 標準的な深層学習技術（バッチ正則化、ドロップアウト、データオーグメンテーションなど）と互換性を持つ、柔軟でアーキテクチャに依存しない損失関数を構築すること。

提案手法

• 深層ネットワークでの微分可能で訓練可能な形にするために、マージンの一次近似を提案する。
• 入力層または隠れ層空間における各訓練サンプルと意思決定境界との距離に基づき、lp 範囲（p ≥ 1）を用いてマージンを定義する。
• 入力層、隠れ層、出力層のいずれの層に対しても、マージン損失を適用可能にし、複数層にわたるマージン強制を可能にする。
• バックプロパゲーションをネットワーク全体で可能にするために、マージンの微分可能近似を用いる。
• 標準的な正則化手法（例：重み減衰、ドロップアウト、バッチ正則化）およびデータオーグメンテーションと組み合わせて使用する。
• 各データセットおよびタスクにおける性能最適化のため、マージン値のハイパーパramータサーチを実施する。

実験結果

リサーチクエスチョン

• RQ1 隠れ層におけるマージンの強制は、深層ネットワークの一般化性能を向上させることができるか？
• RQ2 入力空間におけるマージン強制は、 adversarial パーティクルに対してロバスト性を向上させるか？
• RQ3 lp 範囲（l1、l2、l∞）の選択が、異なるデータセットおよびタスクにおけるモデル性能にどのように影響するか？
• RQ4 マージンに基づく訓練は、既存の正則化およびデータオーグメンテーション技術と併用可能で、それらを補完することができるか？
• RQ5 ラベルノイズおよび限られた訓練データ下でも、大マージン訓練は性能向上をもたらすか？

主な発見

• CIFAR-10 で 80% のラベルノイズがある状況下で、l∞ および l2 マージンモデルは交差エントロピーを 4% から 10% 上回った。
• 訓練データがたった 1% の場合、l1 マージンモデルは交差エントロピーに対して 2.5% の高い精度を達成した。
• 白箱攻撃（FGSM、ϵ=0.1）の下で、ImageNet における l1 マージンモデルのトップ-1正答率は 44% に達したのに対し、交差エントロピーは 33% であった。
• ブラックボックス攻撃（IFGSM、ϵ=0.1）の下で、マージンモデルは ImageNet で 59% の正答率を示したのに対し、交差エントロピーは 33% であった。
• SNR=33 の条件下で、l1 マージンモデルは ImageNet で 82% の正答率を達成し、先行研究比で 18.7% の相対的向上を示した。
• ImageNet では、1ステップあたりの訓練コストが交差エントロピーの 1.6 倍にとどまり、計算的に実用的であった。