[論文レビュー] Geometric robustness of deep networks: analysis and improvement

Can Kanbak, Seyed-Mohsen Moosavi-Dezfooli+1 more|arXiv (Cornell University)|Nov 24, 2017

Adversarial Robustness in Machine Learning参考文献 19被引用数 9

ひとこと要約

この論文では、分類器をだます最小の敵対的変換を特定することで、深層ニューラルネットワークの幾何的ロバストネスを測定・向上させるスケーラブルなアルゴリズム、ManiFool を紹介する。ManiFool は幾何的変換の多様体上で勾配降下を実行し、最悪ケースの摂動を同定する。これらの例を用いた敵対的訓練により、最悪ケースおよびランダムな幾何的変換に対する不変性が著しく向上し、CIFAR-10 における誤分類率が 20% 以上低下した。

ABSTRACT

Deep convolutional neural networks have been shown to be vulnerable to arbitrary geometric transformations. However, there is no systematic method to measure the invariance properties of deep networks to such transformations. We propose ManiFool as a simple yet scalable algorithm to measure the invariance of deep networks. In particular, our algorithm measures the robustness of deep networks to geometric transformations in a worst-case regime as they can be problematic for sensitive applications. Our extensive experimental results show that ManiFool can be used to measure the invariance of fairly complex networks on high dimensional datasets and these values can be used for analyzing the reasons for it. Furthermore, we build on Manifool to propose a new adversarial training scheme and we show its effectiveness on improving the invariance properties of deep neural networks.

研究の動機と目的

• 実世界の応用において、深層ネットワークの幾何的変換に対する不変性を系統的に測定する手法の欠如に応えること。
• 分類誤差を引き起こす最小の敵対的変換を同定する、スケーラブルで多様体に基づくアルゴリズムを開発すること。
• ImageNet で学習したネットワークの最悪ケースおよびランダムな幾何的変換に対するロバストネスを評価すること。
• 提案手法で生成された最悪ケースの変換を用いた敵対的訓練により、ネットワークの不変性を向上させること。

提案手法

• ManiFool は、アフィン変換や射影変換などの幾何的変換の多様体上で勾配降下を実行し、深層ネットワークの分類器をだます最小の変換を同定する。
• アルゴリズムは変換をパrameterのベクトルでパラメータライズし、多様体上の変換の大きさを測るための測地線距離メトリックを用いる。
• 正しいクラスの信頼度を最小化しつつ、変換群の多様体上に留まるように、反復的に変換パラメータを更新する。
• 不変性スコアは、データセット全体でネットワークをだますために必要な最小変換サイズの平均として定義される。
• 敵対的訓練は、ManiFool が同定した最悪ケースの変換例を用いてネットワークをファインチューニングすることで実施する。
• 本手法は、ResNet、VGG、AlexNet アーキテクチャを用いて、ImageNet および CIFAR-10 で評価された。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの最悪ケースの幾何的ロバストネスを系統的に測定する方法は何か？
• RQ2 ImageNet で学習したネットワークは、小さな、目に見えない幾何的変換に対してどの程度の脆弱性を示すか？
• RQ3 最悪ケースの幾何的変換を用いた敵対的訓練は、最悪ケースおよびランダムなロバストネスの両方を向上させることができるか？
• RQ4 異なるネットワークアーキテクチャの幾何的変換に対する不変性は、どのように比較できるか？

主な発見

• ManiFool は、複雑なネットワークおよび高次元のデータセットに対し、幾何的不変性を効果的に測定でき、最新のモデルですら小さな、目に見えない変換に対して脆弱であることが明らかになった。
• 精度は類似しているにもかかわらず、ResNet-34 および ResNet-50 は VGG ネットワークよりもランダムな変換に対して優れた不変性を示した。
• ManiFool が生成した例を用いた敵対的訓練により、CIFAR-10 の ResNet-18 の不変性スコアは、1 エポックでベースラインの 1.10 から 1.78 に向上した。
• 測地線距離 2.5 のランダムなアフィン変換に対する誤分類率は、敵対的ファインチューニング後、20% 以上低下した。
• 本手法は最悪ケースの変換に対するロバストネス向上に加え、ランダムな変換に対してもロバストネスが向上した。これは一般化効果を示している。
• テスト精度が 0.6% 減少したが、幾何的ロバストネスの著しい向上を考えれば、トレードオフは妥当である。