[論文レビュー] Invariance-inducing regularization using worst-case transformations suffices to boost accuracy and spatial robustness

Fanny Yang, Zuowen Wang+1 more|arXiv (Cornell University)|Jan 1, 2019

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

本論文は、空間的変換群から選択された悪意ある最悪ケースの空間的変換を用いた、新たな不変性誘導正則化法を提案する。この手法により、深層学習モデルの予測精度と空間的ロバスト性の両方が向上する。変換群からの悪意ある選択された変換を用いて訓練することで、CIFAR-10では相対誤差が20%削減され、SVHNでは標準精度が向上し、ロバスト性と精度のトレードオフがないことが実証された。

ABSTRACT

This work provides theoretical and empirical evidence that invariance-inducing regularizers can increase predictive accuracy for worst-case spatial transformations (spatial robustness). Evaluated on these adversarially transformed examples, standard and adversarial training with such regularizers achieves a relative error reduction of 20% for CIFAR-10 with the same computational budget. This even surpasses handcrafted spatial-equivariant networks. Furthermore, we observe for SVHN, known to have inherent variance in orientation, that robust training also improves standard accuracy on the test set. We prove that this no-trade-off phenomenon holds for adversarial examples from transformation groups.

研究の動機と目的

• 深層ニューラルネットワークにおける悪意ある空間的摂動下での空間的ロバスト性の欠如に対処すること。
• 空間的変換の最悪ケースを用いた不変性誘導正則化が、ロバスト性と標準精度の両方を向上させられるかどうかを調査すること。
• 精度とロバスト性の間にトレードオフが生じない理論的および実験的条件を確立すること。
• CIFAR-10やSVHNのようなベンチマークデータセットにおけるこの正則化の有効性を評価すること。

提案手法

• 本手法は、変換群内の最悪ケースの空間的変換に対するモデルの不変性を明示的に促進する正則化子を導入する。
• 最悪ケースの変換は、モデルの予測誤差を最大化するように悪意的に選択され、正則化のためのハード例セットを形成する。
• 正則化子は標準的および悪意ある訓練の目的関数に統合され、クリーンな入力と最悪ケースの両方のロバスト性を最適化する。
• 理論的分析により、変換群の構造下では、正則化子が標準精度とロバスト性の間にトレードオフを生じさせないことを証明した。
• 回転や平行移動などの空間的変換の群論的性質を活用して、最悪ケースの摂動を定義する。

実験結果

リサーチクエスチョン

• RQ1 最悪ケースの空間的変換を用いた不変性誘導正則化は、標準精度を損なうことなくモデルのロバスト性を向上させられるか？
• RQ2 本手法は、手作業で設計された空間的同値ネットワークよりも、精度とロバスト性の両面で優れているか？
• RQ3 どのような条件下で、標準精度とロバスト性の間にトレードオフが生じないか？
• RQ4 SVHNのように固有の空間的ばらつきを有するデータセットでは、本手法はどのように性能を発揮するか？

主な発見

• 提案された正則化は、CIFAR-10において最悪ケースの空間的変換下で相対誤差を20%削減し、標準訓練と同等の計算コストで実現した。
• 本手法は、CIFAR-10において、手作業で設計された空間的同値ネットワークを精度および空間的ロバスト性の両面で上回った。
• SVHNでは、正則化を用いたロバスト訓練により、標準テストセットの精度が向上し、トレードオフが生じない現象が示された。
• 理論的分析により、変換群から導かれる悪意ある例においても、トレードオフが生じない現象が成立することが確認された。