[論文レビュー] Robustness of Deep ReLU Networks to Misclassification of High-Dimensional Data

Věra Kůrková|arXiv (Cornell University)|Feb 21, 2026

Stochastic Gradient Optimization Techniques被引用数 0

ひとこと要約

この論文は、ランダムな入力撹乱に対する深層ReLUネットワークの局所的頑健性を分析し、入力次元とネットワークサイズに弱く依存しつつ、誤分類耐性の確率的下界を導出する。さらに、敵対的パターンが生じやすい入力領域を特徴づける。

ABSTRACT

We present a theoretical study of the robustness of parameterized networks to random input perturbations. Specifically, we analyze local robustness at a given network input by quantifying the probability that a small additive random perturbation of the input leads to misclassification. For deep networks with rectified linear units, we derive lower bounds on local robustness in terms of the input dimensionality and the total number of network units.

研究の動機と目的

• パラメータ化されたネットワークのランダム入力撹乱に対する頑健性の研究動機づけ。
• 特定の入力における局所頑健性を定量化する確率的フレームワークの構築。
• 入力次元とネットワークサイズに依存する局所頑健性の下界を導出。
• 深層ReLUネットワークの入力—出力集合の幾何学的構造を特徴づける。
• 敵対的パターンと高次元データ処理への含意を論じる。

提案手法

• 局所頑健性を、撹乱サイズrでの入力xに対して同一クラスを維持する確率として定義。
• 高次元球の集中性結果を用いて幾何学的境界を導出するために、単一のHeavisideパーセプトロンを解析。
• n個のHeavisideパーセプトロンからなる浅層ネットワークへ拡張する際に、和集合の界を用いて拡張。
• 深層ReLUネットワークが凸分割上で最大n個の面を持つ、I/O関数を区分が作ることを証明。
• 高次元球の測度集中を用いて領域間の誤分類確率を下界化し、dに指数関数的に増加する境界を導出。
• 頑健性の境界は総ユニット数nとpartition境界までの距離a(x)に依存することを示す。

実験結果

リサーチクエスチョン

• RQ1 入力次元数dは、ランダム撹乱下のパラメータ化された深層ReLUネットワークの局所頑健性にどう影響するか？
• RQ2 深さに依存せず、次元に依存する確率的下界を誤分類確率に対して導けるか？
• RQ3 深層ReLUネットワークによって区分される入力空間の幾何学的構造は何であり、頑健性とどう関連するか？
• RQ4 高次元でのランダム検証下において、敵対的パターンが生じにくい条件は何か？
• RQ5 どの入力が誤分類の影響を受けやすく、ネットワークの幾何的区分によってそれらをどう同定できるか？

主な発見

• 局所頑健性の境界はほぼ全ての入力に対して入力次元とともに急速に増加し、総ユニット数の変化には比較的弱い影響しか受けない。
• 単一のHeavisideパーセプトロンでは、a(x) < r のとき、頑健性は 1 - exp(-a(x)^2 d / (2 r^2)) を超える。
• 浅層ネットワークでは、頑健性は 1 - n exp(-a(x)^2 d / (2 r^2)) によって下界付けされる。
• 深層ReLUネットワークは、総ユニット数n を用いた最大n面の凸領域にR^dを区分する。
• partition境界集合H付近でない入力に対して、dとともに指数関数的に頑健性が増大し、nがdと多項式的にしか増えない場合には特にそうなる。
• これらの結果は、ランダム検証下で高次元における敵対的サンプルが起こりにくいことを示唆し、敵対的パターンを含みそうな入力を特定する。