[論文レビュー] On damage of interpolation to adversarial robustness in regression

Jingfu Peng, Yuhong Yang|arXiv (Cornell University)|Jan 22, 2026

Adversarial Robustness in Machine Learning被引用数 0

ひとこと要約

この論文は、非パラメトリック回帰における補間推定量が将来の X 攻撃下で対立的ロバスト性に対して証明的に最適ではないことを示し、高補間領域での位相転換とサンプルサイズの呪いを明らかにする。

ABSTRACT

Deep neural networks (DNNs) typically involve a large number of parameters and are trained to achieve zero or near-zero training error. Despite such interpolation, they often exhibit strong generalization performance on unseen data, a phenomenon that has motivated extensive theoretical investigations. Comforting results show that interpolation indeed may not affect the minimax rate of convergence under the squared error loss. In the mean time, DNNs are well known to be highly vulnerable to adversarial perturbations in future inputs. A natural question then arises: Can interpolation also escape from suboptimal performance under a future $X$-attack? In this paper, we investigate the adversarial robustness of interpolating estimators in a framework of nonparametric regression. A finding is that interpolating estimators must be suboptimal even under a subtle future $X$-attack, and achieving perfect fitting can substantially damage their robustness. An interesting phenomenon in the high interpolation regime, which we term the curse of simple size, is also revealed and discussed. Numerical experiments support our theoretical findings.

研究の動機と目的

• 非パラメトリック回帰における補間推定量の対立的ロバスト性の研究を動機づける。
• 補間推定量のクラスに対する minimax 対立リスクを特徴づける。
• 補間次数、攻撃の大きさ、サンプルサイズがロバスト性に与える影響を特定する。
• 敵対的撹乱の下での過剴性モデル（例：DNN）ロバスト性への理論に裏打ちされた洞察を提供する。

提案手法

• 回帰モデル Y = f* (X) + ξ を Hölder 光滑性 f* ∈ H(β,L) として定義する。
• 将来の X 攻撃を半径 r の p-ボール内でモデル化する adversarial L2-リスク R_r(\,hat f, f*) を導入する。
• δ-補間クラス I(δ) を定義し、訓練データを δ 容認範囲で適合する推定量を捕捉する。
• 基礎推定量 \hat f を用い、近傍 B_p(X_i, τ) 内で局所的な調整を行う δ-補間子  f_{δ,τ} を構築する。
• δ-補間子のミニマックス下限 (定理1) を導出: inf_{ hat f ∈ I(δ)} sup_{f* ∈ H(β,L)} R_r( hat f, f*) ≳ r^{2(1∧β)} + n^{-2β/(2β+d)} + ∫_X E max_{i∈S_p(x,r)}(|ξ_i| − δ)_+^2 dx.
• 構築した補間子 (δ,τ) の上界 (定理2) を提供: R_r( hat f_{δ,τ}, f*) ≤ (r+τ)^{2(1∧β)} + n^{-2β/(2β+d)} + ∫_X E max_{i∈S_p(x,r+τ)}(|ξ_i| − δ)_+^2 dx.
• 位相転換は δ と r に依存することを示す (定理3–5) と、サンプルサイズの呪いが高補間領域で現れることを明らかにする。
• 補間法のロバスト性、特に過剰パラメータ化された DNN のロバスト性に関する示唆について議論する。

実験結果

リサーチクエスチョン

• RQ1 δ-補間推定量の将来の X 攻撃下での minimax 対立リスクは何か。
• RQ2 攻撃の大きさ r、滑らかさβ、補間度 δ は対立的ロバスト性にどのように影響するか。
• RQ3 補間推定量は minimax 最適なロバスト性を達成できるか、条件は何か。
• RQ4 δ と r が変化する際の位相転換の挙動はどうなるか、低補間域と高補間域で特にどうなるか。

主な発見

• 補間推定量は非補間の minimax 速度と比較して追加の対立的リスク項を負い、補間がロバスト性を損なう可能性を示す。
• δ-補間子の minimax 対立速度は、 r^{2(1∧β)} + n^{-2β/(2β+d)} + δ および攻撃半径 r に依存する項を含む漸近的に下界である。
• δ-補間子 (τ が 0 に収束する) が minimax 下限を達成する例が存在し、最適なロバスト性は広いクラスの補間子で実現可能であることを示す。
• 低補間域（十分に大きな δ のとき）では対立的速度は最適速度 r^{2(1∧β)} + n^{-2β/(2β+d)} に定数倍まで一致し、穏やかな補間は minimax ロバスト性を損なわない。
• 高補間域（小さな δ）では対立的速度が著しく劣化し、nr^{d} および対数項が支配的となり、r が極端に小さくない場合ロバスト性は収束しない可能性がある。
• 論文はサンプルサイズの呪いを明らかにし、n の増加が高度に補間的な推定量のロバスト性を悪化させ得る一方で、次元 d の増加はロバスト性の損失を緩和し得る。