[論文レビュー] Softmax-based Classification is k-means Clustering: Formal Proof, Consequences for Adversarial Attacks, and Improvement through Centroid Based Tailoring

Sibylle Hess, Wouter Duivesteijn+1 more|arXiv (Cornell University)|Jan 7, 2020

Adversarial Robustness in Machine Learning参考文献 30被引用数 7

ひとこと要約

本論文は、隠れ層の特徴空間において、ソフトマックスベースのニューラルネットワーク分類が数学的にk-meansクラスタリングと同等であることを形式的に証明している。最終層を重心に基づく活性化関数（ガウスネットワーク）に再定義することで、1ピixel攻撃に対する耐性が向上し、脆弱性が2.7〜6.8倍低減される。同時に、高い精度を維持するとともに、外れ値入力に対しては合理的な不確実性を表現できる。

ABSTRACT

We formally prove the connection between k-means clustering and the predictions of neural networks based on the softmax activation layer. In existing work, this connection has been analyzed empirically, but it has never before been mathematically derived. The softmax function partitions the transformed input space into cones, each of which encompasses a class. This is equivalent to putting a number of centroids in this transformed space at equal distance from the origin, and k-means clustering the data points by proximity to these centroids. Softmax only cares in which cone a data point falls, and not how far from the centroid it is within that cone. We formally prove that networks with a small Lipschitz modulus (which corresponds to a low susceptibility to adversarial attacks) map data points closer to the cluster centroids, which results in a mapping to a k-means-friendly space. To leverage this knowledge, we propose Centroid Based Tailoring as an alternative to the softmax function in the last layer of a neural network. The resulting Gauss network has similar predictive accuracy as traditional networks, but is less susceptible to one-pixel attacks; while the main contribution of this paper is theoretical in nature, the Gauss network contributes empirical auxiliary benefits.

研究の動機と目的

• 深層ニューラルネットワークにおけるソフトマックス分類とk-meansクラスタリングの数学的同等性を形式的に確立すること。
• 変換された特徴空間における幾何学的・近接性分析を通じて、ソフトマックスネットワークが1ピixel攻撃に対して特に脆弱である理由を説明すること。
• k-meansに適したクラスタリング行動をネットワーク出力に一致させる理論的根拠に基づくソフトマックス関数の代替手法を開発すること。
• ニューラルネットワークが分布外または敵対的摂動を加えられた入力に対して合理的な不確実性を表現できるようにすることにより、解釈可能性と安全性を向上させること。
• 最終層で直接クラスタ重心を学習する、トレーニング可能で近接最適化に基づく手法を提案し、一般化性能と耐性を向上させること。

提案手法

• 隠れ層の特徴空間が、各クラスに対応するボロノイ型の錐に分割されることを証明し、これは原点からの距離が等しい重心を持つk-meansクラスタリングと数学的に同等であることを示す。
• 入力特徴から学習済み重心までの距離に基づく新しい最終層活性化関数（ガウスネットワーク）を定式化し、従来のソフトマックス関数に置き換える。
• ネットワーク重みがクラスタ重心を直接表現できるようにする近接最小化更新則を導入し、k-meansに適した表現を学習可能にする。
• 新しい損失関数を用いて標準的なバックプロパゲーションでガウスネットワークを訓練し、エンドツーエンド学習を可能にするとともに高い予測精度を維持する。
• ガウスネットワークの信頼スコアを、最近接クラスプロトタイプまでの距離の指標として用い、不確実または外れ値の予測をフラグとして特定可能にする。
• CIFAR-10およびMNISTでFGSM攻撃および1ピixel攻撃を用いて耐性を評価し、精度、信頼スコア、外れ値検出性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークにおけるソフトマックス分類とk-meansクラスタリングの間には、正式な数学的同等性が存在するか？
• RQ2 ソフトマックスベースのネットワークが1ピixel攻撃に対して特に脆弱である理由は何か？この脆弱性は特徴空間の幾何構造とどのように関係しているか？
• RQ3 明示的にクラスタ重心をモデル化する再構築された最終層は、精度を損なわずに微小な入力摂動に対して耐性を高めることができるか？
• RQ4 学習済み重心までの距離を測定することで、モデルが敵対的または分布外の入力に対してどれほど合理的な不確実性を表現できるか？
• RQ5 ネットワークのリプシッツモジュラスとクラスタ重心までの距離の関係は何か？また、リプシッツ連続性を超えて、この距離が耐性に独立して影響を与えるか？

主な発見

• 本論文は、隠れ層の特徴空間において、ソフトマックス分類が数学的にk-meansクラスタリングと同等であることを形式的に証明した。各クラスは重心回りの錐に対応する。
• リプシッツモジュラスが小さいネットワークは、入力をその対応クラスの重心に近づけるため、特徴空間がk-meansに適した性質を持つようになり、耐性が向上する。
• ソフトマックスを重心に基づく活性化関数に置き換えたガウスネットワークは、CIFAR-10において1ピixel攻撃に脆弱な画像の割合を2.7〜6.8倍低減した。
• MNISTでは、ガウスネットワークはノイズ下でも高い精度を維持し、明確な数字（プロトタイプ）と抽象的・歪曲された数字（外れ値）をよりよく区別できる。信頼スコアは人間の認識と整合性を示した。
• 従来のネットワークはノイズ画像に対して高い信頼度（>0.9）を割り当てていたが、ガウスネットワークはこうした外れ値に対してほぼゼロの信頼スコアを割り当て、合理的な不確実性の表現が可能であることを示した。
• ガウスネットワークの信頼スコアは、平均約0.56と信頼スコアのスケール全体にわたって一様に分布しているのに対し、従来のネットワークは平均約0.98であり、過信の低減と信頼性の向上が図られている。