[論文レビュー] Deep-RBF Networks Revisited: Robust Classification with Rejection

Pourya Habib Zadeh, Reshad Hosseini+1 more|arXiv (Cornell University)|Dec 7, 2018

Adversarial Robustness in Machine Learning参考文献 20被引用数 22

ひとこと要約

この論文では、一般化された定式化と勾配消失問題を回避するメトリック学習にインspiredされた損失関数を導入することで、深層RBFネットワークを再考する。信頼度のしきい値に基づく拒否オプションを追加することで、MNISTにおける adversarial 攻撃に対して高い耐性を示し、標準的なCNNへの adversarial 例の転送性は最小限に抑えられる。

ABSTRACT

One of the main drawbacks of deep neural networks, like many other classifiers, is their vulnerability to adversarial attacks. An important reason for their vulnerability is assigning high confidence to regions with few or even no feature points. By feature points, we mean a nonlinear transformation of the input space extracting a meaningful representation of the input data. On the other hand, deep-RBF networks assign high confidence only to the regions containing enough feature points, but they have been discounted due to the widely-held belief that they have the vanishing gradient problem. In this paper, we revisit the deep-RBF networks by first giving a general formulation for them, and then proposing a family of cost functions thereof inspired by metric learning. In the proposed deep-RBF learning algorithm, the vanishing gradient problem does not occur. We make these networks robust to adversarial attack by adding the reject option to their output layer. Through several experiments on the MNIST dataset, we demonstrate that our proposed method not only achieves significant classification accuracy but is also very resistant to various adversarial attacks.

研究の動機と目的

• データスパース領域における高信頼度予測が原因で生じる深層ニューラルネットワークの脆弱性に対処すること。
• 線形分類器を備えた標準的な深層ネットワークの代替として、深層RBFネットワークを再導入すること。
• 長年の誤解である「深層RBFネットワークは勾配消失問題に苦しむ」という考えを覆すために、新たな訓練定式化を提案すること。
• 出力層に拒否オプションを導入し、学習済みのクラスクラスタから離れた入力を拒否することで耐性を向上させること。
• 標準的なCNNとは異なり、深層RBFネットワークは adversarial 例の転送性が低く、他のモデルに比べてより劣化しにくいことを実証すること。

提案手法

• 特徴空間における学習済み中心からの距離に依存する径方向基底関数（RBF）ユニットを用いた、ℓp-ノルムを用いた一般化された深層RBFネットワーク定式化を提案する。
• メトリック学習にインspiredされた損失関数（MLおよびSoftML）を設計し、クラス間分離性を高めるとともにクラス内コンパクト性を促進するが、勾配消失を引き起こさない。
• 信頼度しきい値に基づく拒否メカニズムを統合：最大クラス信頼度がしきい値未満の場合、入力を拒否する。
• 訓練中にノイズを注入することで、耐性を高めるとともに、adversarial 例の転送性を低減する。
• MNISTの実験において、入力を特徴空間にマップする2層のConvNetを特徴抽出器として使用し、RBFユニットがその空間で動作するようにする。
• 提案された損失関数を用いた確率的最適化によりネットワークを訓練し、勾配飽和を避けて効果的な学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 従来の仮定とは対照的に、深層RBFネットワークは勾配消失問題を経験せずに効果的に訓練可能であるか？
• RQ2 信頼度に基づく拒否メカニズムが adversarial 攻撃に対する耐性をどの程度向上させるか？
• RQ3 深層RBFネットワークと標準的なCNNとの間で、adversarial 例の転送性はどのように異なるか？
• RQ4 訓練中にノイズを注入することで、adversarial 例の他のモデルへの転送性は低減するか？
• RQ5 深層RBFネットワークは、さまざまな adversarial 攻撃タイプに対し、高い分類精度を維持しながら強力な耐性を示せるか？

主な発見

• 提案された深層RBFネットワークは、標準的なCNNと同等の高い分類精度をMNISTで達成する一方で、adversarial 攻撃に対して顕著に耐性がある。
• 95%の拒否しきい値を設定した場合、深層RBFネットワーク用に生成されたadversarial 例の71.5%が拒否され、強力な検出能力を示している。
• CNN用に作成されたadversarial 例のうち、深層RBFネットワークを欺けるのはわずか0.55%にとどまり、他のモデルへの転送性が極めて低いことが示された。
• 訓練中にノイズを注入することで、adversarial 例の転送性が低減した：ノイズを適用した場合、深層RBFネットワークのadversarial 例のうち11.5%しか他のネットワークを欺けなかった。
• L-BFGSの標的攻撃において、深層RBFネットワークを欺くには、CNNと比較してはるかに大きな摂動が必要であり、adversarial 例の歪度が高くなることが示された。
• ノイズ注入と98%の拒否しきい値を組み合わせた深層RBFネットワークは、自身のモデルからのadversarial 例の28.4%を拒否し、効果的な自己拒否能力を示した。