[論文レビュー] Analysis of Invariance and Robustness via Invertibility of ReLU-Networks

Jens Behrmann, Sören Dittmer+2 more|arXiv (Cornell University)|Jun 25, 2018

Model Reduction and Neural Networks参考文献 26被引用数 7

ひとこと要約

本稿は、ReLUニューラルネットワークにおける不変性とロバストネスを分析する理論的枠組みを提案する。そのために、層の可逆性を検討する。線形化された層の前像解析と特異値分解（SVD）を用い、単射性、有限個の前像、無限大の不変性のための計算可能な条件を導出する。これにより、逆行列の安定性（条件数）と情報損失（ゼロ特異値）の間のトレードオフが明らかになる。CIFAR-10およびMNISTネットワークにおける実験的検証も行われる。

ABSTRACT

Studying the invertibility of deep neural networks (DNNs) provides a principled approach to better understand the behavior of these powerful models. Despite being a promising diagnostic tool, a consistent theory on their invertibility is still lacking. We derive a theoretically motivated approach to explore the preimages of ReLU-layers and mechanisms affecting the stability of the inverse. Using the developed theory, we numerically show how this approach uncovers characteristic properties of the network.

研究の動機と目的

• ReLUネットワークにおける不変性とロバストネスを理論的に根拠づいた手法で分析するため、層の可逆性を検討すること。
• ReLU層の出力の前像が一点、有限集合、または無限集合であるような計算可能な条件を同定し、不変性を特徴づけること。
• 線形化された層のヤコビ行列の特異値を用いて、逆写像の安定性を調査すること。
• 深層ネットワークアーキテクチャにおいて、逆行列の安定性（低条件数）と不変性（ゼロ特異値の存在）の間のトレードオフを明らかにすること。
• 今後の研究の基盤を提供すること：逆問題、敵対的ロバストネス、特徴レベルの解釈に関する研究。

提案手法

• 線形代数と多面体幾何学を用いて、ReLU層の出力の前像が一点、有限集合、または無限集合であるための必要十分条件を導出する。
• 線形化されたReLU層の核空間における非自明な解の存在を特徴づけるために、Stiemkeの定理を適用する。これにより不変性が示唆される。
• 線形化された層のヤコビ行列の特異値分解（SVD）を用い、逆行列の安定性を定量化する。条件数は、入力摂動に対する感度の代理指標として用いられる。
• CIFAR-10およびMNISTのMLPとCNN（WideCIFAR、ThinCIFAR）において、層ごとの特異値の減衰を実験的に評価し、50個のテストサンプルの中央値を計算する。
• ネットワーク層を畳み込み層とReLU層に分離し、それぞれが特異値分布と前像構造に与える影響を別々に分析する。
• ダウンサンプリングとReLU活性化が特異値の減衰に与える影響を可視化し、特にストライド付き畳み込みの後に非ゼロ特異値が減少することに注目する。

実験結果

リサーチクエスチョン

• RQ1 ReLU層の出力の前像が一点、有限集合、または無限集合であるのはどのような条件下か？
• RQ2 ReLU層の線形化された写像の特異値スペクトルは、その逆写像の安定性とどのように関係するか？
• RQ3 深層ReLUネットワークにおいて、逆行列の安定性（低条件数）と不変性（ゼロ特異値の存在）の間のトレードオフは何か？
• RQ4 ストライド付き畳み込みやReLU活性化といったアーキテクチャ的要因は、特異値の減衰と前像構造にどのように影響するか？
• RQ5 学習済みReLUネットワークの逆写像を体系的に分析することで、不変性とロバストネスの性質を同定できるか？

主な発見

• ReLU層の出力の前像が一点であるのは、その層に関連する線形系が一意な解を持つときであり、線形代数とStiemkeの定理を用いて同定可能である。
• ReLU層のヤコビ行列におけるゼロ特異値の数は、直接的に不変性方向の数に一致する。すなわち、出力を変化させない入力摂動の数である。
• ストライド付き畳み込みの後には、非ゼロ特異値の数が顕著に減少する。特にWideCIFARの第6層で顕著で、ダウンサンプリングとReLUのプルーニングによるものである。
• 線形化された層の条件数は深さとともに増加し、特に深い層において逆写像の不安定性が増す傾向にある。
• トレードオフが観察される：非ゼロ特異値の数が少ない層（例えば、ダウンサンプリング後の層）は、条件数が低く（安定性が良い）一方で、ゼロ特異値が多いため不変性が高くなる。
• CIFAR-10およびMNISTにおける実験結果から、ReLU活性化とストライド付き畳み込みが特異値スペクトルを共同で形作っており、特に深い層で顕著な影響を示すことがわかった。