[論文レビュー] Pay attention to your loss: understanding misconceptions about 1-Lipschitz neural networks

Louis Béthune, Thibaut Boissin+4 more|arXiv (Cornell University)|Apr 11, 2021

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

この論文は、1-Lipschitzニューラルネットワーク（LipNet1）が制約のないネットワーク（AllNet）よりも表現力や精度が劣るとされる誤解に挑戦する。LipNet1ネットワークは、CIFAR-100でランダムラベルを用いた場合に最先端の精度（99.96%）を達成し、分類タスクにおいてAllNetと同等の性能を示す。また、特に温度スケジューリングを含むきめ細やかな損失ハイパーパrameter調整により、証明可能なロバスト性と一般化の利点を有する。

ABSTRACT

Lipschitz constrained networks have gathered considerable attention in the deep learning community, with usages ranging from Wasserstein distance estimation to the training of certifiably robust classifiers. However they remain commonly considered as less accurate, and their properties in learning are still not fully understood. In this paper we clarify the matter: when it comes to classification 1-Lipschitz neural networks enjoy several advantages over their unconstrained counterpart. First, we show that these networks are as accurate as classical ones, and can fit arbitrarily difficult boundaries. Then, relying on a robustness metric that reflects operational needs we characterize the most robust classifier: the WGAN discriminator. Next, we show that 1-Lipschitz neural networks generalize well under milder assumptions. Finally, we show that hyper-parameters of the loss are crucial for controlling the accuracy-robustness trade-off. We conclude that they exhibit appealing properties to pave the way toward provably accurate, and provably robust neural networks.

研究の動機と目的

• 1-Lipschitzニューラルネットワークが制約のないネットワークよりも表現力や精度が劣ると広く信じられている誤解を解きほぐすこと。
• 新しいロバスト性指標を用いて、1-Lipschitzネットワークにおける精度とロバスト性のトレードオフを同定すること。
• 1-Lipschitzネットワークに対する理論的一般化保証を確立すること、特にネットワークサイズに依存しないPAC学習可能性を含むこと。
• 損失関数のハイパーパrameter、特に温度が精度-ロバスト性トレードオフを制御することを示すこと。
• LipNet1ネットワークが任意に複雑な意思決定境界を達成でき、一貫性のある推定器であることを示すこと。

提案手法

• 著者らは、2値分類におけるLipschitz制約の理論的分析を行い、任意のAllNet分類器が同じ意思決定境界を持つ1-Lipschitz同等形にスケーリング可能であることを示した。
• 1-Lipschitz制約下での敵対的ロバスト性を評価するため、平均証明可能ロバスト性（MCR）に基づくロバスト性指標を導入した。
• 訓練中に温度スケジューリングを用いた損失関数を採用し、温度が精度とロバスト性のトレードオフを制御する。
• 1-Lipschitzネットワークが一貫性のある推定器であることを証明した：訓練データサイズが増加するにつれて、訓練損失がテスト損失に収束する。
• マージンに基づく1-Lipschitz分類器のPAC学習可能性を確立し、一般化バウンドがネットワーク幅に依存しないことを示した。
• 実証的検証として、重み正規化とスペクトル正規化を用いて1-Lipschitz制約を強制するResNet風アーキテクチャを用いて、CIFAR-100およびFashion-MNISTで評価を行った。

実験結果

リサーチクエスチョン

• RQ1 1-Lipschitzニューラルネットワークは、分類タスクにおいて制約のないネットワークと同等の精度に達成できるか？
• RQ2 1-Lipschitzネットワークにおける精度とロバスト性の最適なトレードオフは何か？ どのネットワークアーキテクチャがそれを達成するか？
• RQ3 やや緩い仮定の下で、1-Lipschitzネットワークは制約のないネットワークよりも一般化性能が優れているか？
• RQ4 損失関数のハイパーパrameter、特に温度が精度-ロバスト性トレードオフにどのように影響するか？
• RQ5 1-Lipschitzネットワークの一般化とロバスト性に理論的基盤はあるか？

主な発見

• 1-Lipschitzニューラルネットワークは、CIFAR-100でランダムラベルを用いた場合に99.96%の精度を達成でき、制約のないネットワークより表現力が劣るとは限らないことを示した。
• 最高精度の1-Lipschitz分類器は符号付き距離関数に対応し、最もロバストな分類器はWGANディスクライマーであり、証明可能なロバスト性を最大化する。
• 精度-ロバスト性トレードオフは、ネットワーク初期化や訓練スケジュールに依存せず、唯一最終的な温度ハイパーパrameter τによって制御される。
• より大きなアーキテクチャは、パラトリアフロントを高い精度と高いロバスト性へとシフトさせ、表現力が幅に比例して増大することを確認した。
• LipNet1ネットワークは一貫性のある推定器である：訓練データサイズが増加するにつれて、訓練損失がテスト損失に収束する。
• マージンに基づく1-Lipschitz分類器はPAC学習可能であり、一般化バウンドがネットワークサイズに依存しない。これにより、非常に広いネットワークの訓練においても過学習を回避できる。