[論文レビュー] A Geometric Probe of the Accuracy-Robustness Trade-off: Sharp Boundaries in Symmetry-Breaking Dimensional Expansion

Yu Bai, Zhe Wang+4 more|arXiv (Cornell University)|Feb 20, 2026

Adversarial Robustness in Machine Learning被引用数 0

ひとこと要約

この論文は Symmetry-Breaking Dimensional Expansion (SBDE) を制御可能な幾何学的プローブとして用い、SBDE によってクリーン精度を高めると補助軸に沿った鋭い損失勾配が生じ、頑健性が低下することを示す。テスト時のマスク投影 Pi は精度を保ちつつ頑健性を回復できる。

ABSTRACT

The trade-off between clean accuracy and adversarial robustness is a pervasive phenomenon in deep learning, yet its geometric origin remains elusive. In this work, we utilize Symmetry-Breaking Dimensional Expansion (SBDE) as a controlled probe to investigate the mechanism underlying this trade-off. SBDE expands input images by inserting constant-valued pixels, which breaks translational symmetry and consistently improves clean accuracy (e.g., from $90.47\%$ to $95.63\%$ on CIFAR-10 with ResNet-18) by reducing parameter degeneracy. However, this accuracy gain comes at the cost of reduced robustness against iterative white-box attacks. By employing a test-time \emph{mask projection} that resets the inserted auxiliary pixels to their training values, we demonstrate that the vulnerability stems almost entirely from the inserted dimensions. The projection effectively neutralizes the attacks and restores robustness, revealing that the model achieves high accuracy by creating \emph{sharp boundaries} (steep loss gradients) specifically along the auxiliary axes. Our findings provide a concrete geometric explanation for the accuracy-robustness paradox: the optimization landscape deepens the basin of attraction to improve accuracy but inevitably erects steep walls along the auxiliary degrees of freedom, creating a fragile sensitivity to off-manifold perturbations.

研究の動機と目的

• 幾何学的観点から精度–頑健性のトレードオフを動機づけて定量化する。
• SBDE を入力空間と損失幾何を再構成する制御可能な手段として導入する。
• 拡張空間における局所的損失幾何を探索するために反復的ホワイトボックス攻撃を用いる。
• 補助座標をリセットする簡易なマスク投影を用いて頑健性の機構を検証する。
• 観察された現象の構造的性質を示すアブレーションを提供する。

提案手法

• SBDE を適用して一定間隔で定数値ピクセルを挿入して入力画像を拡張する。
• 反復的ホワイトボックス攻撃（例：PGD、APGD、BIM、AutoAttack）を拡張空間における局所的損失幾何のプローブとして扱う。
• テスト時のマスク投影 Pi を導入して補助 SBDE ピクセルを訓練時の定数にリセットし、脆弱性の源を検証する。
• SBDE を用いた CIFAR-10 の ResNet-18 をさまざまな挿入方式と拡張因子で訓練し、拡張空間で複数の攻撃の下で頑健性を評価する。
• フィル定数、配置、拡張因子、幹ストライドに関するアブレーションを行い、観察された幾何の安定性を評価する。

Figure 1 : Symmetry-breaking dimensional expansion (illustration). Original image pixels are mapped to designated locations in the expanded grid; constant-valued rows/columns fill the rest.

実験結果

リサーチクエスチョン

• RQ1 SBDE はクリーン精度を高めつつ、補助次元沿った損失ランドスケープの異方性を明らかにできるか？
• RQ2 反復攻撃は主に補助 SBDE によって誘発された座標を悪用し、単純な投影で頑健性を回復できて精度を犠牲にしないか？
• RQ3 SBDE の設定（定数値、配置、拡張因子、茎の整列）は精度–頑健性のバランスにどう影響するか？
• RQ4 診断的な投影 Pi は、補助方向による頑健性の低下と真の信号多様体を区別する一般的なツールとして機能するか？

主な発見

Method	Clean	PGD	AutoAttack	BIM	APGD	APGDT	AVG
Natural	90.47	0.07	0.01	0.11	0.10	0.02	0.06
SBDE (without Π)	95.63	0.00	0.00	0.00	0.00	0.00	0.00
SBDE (with Π)	95.63	88.11	86.25	60.02	88.10	86.86	81.87

• SBDE は ResNet-18 を用いた CIFAR-10 でクリーン精度を高める（例： natural 90.47% から SBDE で 95.63%）。
• SBDE は投影なしで評価した場合、反復的ホワイトボックス攻撃下で頑健性を低下させ、複数の攻撃で頑健精度がほぼゼロに近づく。
• 投影 Pi を適用すると頑健性が大幅に回復（攻撃全体で平均頑健精度 ~85%）、クリーン精度は高いまま（95.63%）を維持。
• 拡張空間の攻撃は SBDE によって導入された補助座標に対して摂動を集約する。投影はそれらの方向を除去することで対抗効果の大半を打ち消す。
• アブレーションは投影後の頑健性が定数値と配置パターンを越えても補助座標に大きく支配されていることを示し、構造的な几何現象を示唆する。
• 拡張因子とストライドの整列は異方性損失幾何の存在を打ち消さず、奇数の拡張因子は特定の茎で投影後の頑健性を改善する傾向がある。

Figure 2 : Test accuracy trajectory on raw vs. SBDE-expanded data (ResNet-18 on CIFAR-10).