[論文レビュー] On the Robustness of Convolutional Neural Networks to Internal Architecture and Weight Perturbations

Nicholas Cheney, Martin Schrimpf+1 more|arXiv (Cornell University)|Mar 23, 2017

Adversarial Robustness in Machine Learning参考文献 28被引用数 36

ひとこと要約

この論文は、アレクサンダー・ネットやVGG-16などの事前学習済み畳み込みニューラルネットワーク（CNN）が、ランダムな重みのpruning、ノードの削除、重みの変更といった内部の摂動に対してどれほど頑健であるかを調査している。高い畳み込み層および全結合層は非常に耐性があり、接続の70％が削除されても70％以上の正確性を維持している一方で、最初の畳み込み層は極めて脆弱であり、同様の摂動条件下で正確性が偶然レベルまで低下することが判明した。

ABSTRACT

Deep convolutional neural networks are generally regarded as robust function approximators. So far, this intuition is based on perturbations to external stimuli such as the images to be classified. Here we explore the robustness of convolutional neural networks to perturbations to the internal weights and architecture of the network itself. We show that convolutional networks are surprisingly robust to a number of internal perturbations in the higher convolutional layers but the bottom convolutional layers are much more fragile. For instance, Alexnet shows less than a 30% decrease in classification performance when randomly removing over 70% of weight connections in the top convolutional or dense layers but performance is almost at chance with the same perturbation in the first convolutional layer. Finally, we suggest further investigations which could continue to inform the robustness of convolutional networks to internal perturbations.

研究の動機と目的

• 事前学習済みの深層畳み込みニューラルネットワークが、重みやアーキテクチャの変更といった内部摂動に対してどれほど頑健であるかを理解すること。
• 内部摂動による性能低下が、特に初期層と高い畳み込み層の間でどのように異なるかを調査すること。
• ランダムなシナプスおよびノードの喪失条件下での、深層ネットワークにおける特徴表現の耐性を定量化すること。
• この頑健性が、オンライン学習、ハードウェア故障、動的接続性を示す生物学的ニューロン系に与える意味を検討すること。
• 体系的な摂動解析を通じて、深層ネットワークにおける冗長性と分散特徴符号化の実証的証拠を提供すること。

提案手法

• KerasとTheanoバックエンドを用いて、事前学習済みのAlexNetおよびVGG-16モデルに対して、層ごとに摂動を適用。
• 3種類の内部摂動：(1) シナプスの喪失（重みをランダムに0に設定）、(2) ノードの喪失（選択されたノードのすべての重みを削除）、(3) 重みの摂動（重みに平均0のガウスノイズを追加）。
• 摂動強度は割合で変化：接続またはノードの0％から70％まで削除し、ImageNet上のトップ1画像分類正確性で性能を測定。
• すべての層で性能を監視し、特に初期畳み込み層（conv1）と高い層（conv3–5、全結合層）に注目。
• p値を用いて、摂動レベルの増加に伴う性能低下の有意性を統計的に検定。
• 線形と非線形の性能低下の比較を通じて、冗長性と分散特徴表現の推論を行う。

実験結果

リサーチクエスチョン

• RQ1 異なる層において、事前学習済みCNNの分類性能は、シナプス接続のランダムな削除によってどのように低下するか？
• RQ2 ノードの喪失とシナプスの喪失の間で性能低下の影響を比較すると、特徴表現に関する何が明らかになるか？
• RQ3 高い畳み込み層および全結合層は、初期畳み込み層に比べて内部摂動に対してどれほど頑健であるか？
• RQ4 摂動による性能低下は線形的か非線形的かの傾向を示すか？これは特徴符号化における冗長性に何を示唆するか？
• RQ5 観察された頑健性は、分散表現かアーキテクチャ設計に起因するものか？これはオンライン学習や耐障害性ハードウェア設計にどのように応用できるか？

主な発見

• AlexNetは、上位の畳み込み層や全結合層から重み接続の70％をランダムに削除しても、トップ1正確性が70％以上を維持している。
• 一方、最初の畳み込み層（conv1）から70％の接続を削除すると、分類性能はほぼ偶然レベルまで低下し、極めて脆弱であることが示された。
• ノードの喪失による性能低下は、シナプスの喪失よりも顕著に急激であるため、高い層の特徴は複数の冗長な入力に依存していることが示唆された。
• シナプスの喪失割合の増加に伴う性能の非線形的低下は、高い層の特徴が、部分的に重複する複数の低レベル特徴に分散して符号化されていることを示している。
• 摂動が複数の後続層に影響を及ぼしても、高い層の頑健性は維持され、これは影響が上流層からの誤差伝搬に起因しているわけではないことを示唆している。
• 非常に少数の画像では、低レベルのノックアウト率（例：dense_2で10％のシナプス削除時、p ≤ 0.0167）でも一貫した性能低下が見られ、特徴間の完全な冗長性は限定的であることが示された。