[論文レビュー] Robust Nonparametric Regression under Poisoning Attack

Puning Zhao, Zhiguo Wan|arXiv (Cornell University)|May 26, 2023

Statistical Methods and Inference被引用数 5

ひとこと要約

本稿では、中毒攻撃下における頑健な非パラメトリック回帰手法を提案する。Huber損失に基づくM推定量を用い、その後にリプシッツ連続性を考慮した投影を施すことで、局所的な推定失敗を是正する。是正された推定量は、サンプルサイズの対数因子を除いてほぼミニマックス最適な誤差率を達成し、標準的手法が失敗する集中型攻撃下でも顕著な性能向上を示す。

ABSTRACT

This paper studies robust nonparametric regression, in which an adversarial attacker can modify the values of up to $q$ samples from a training dataset of size $N$. Our initial solution is an M-estimator based on Huber loss minimization. Compared with simple kernel regression, i.e. the Nadaraya-Watson estimator, this method can significantly weaken the impact of malicious samples on the regression performance. We provide the convergence rate as well as the corresponding minimax lower bound. The result shows that, with proper bandwidth selection, $\ell_\infty$ error is minimax optimal. The $\ell_2$ error is optimal with relatively small $q$, but is suboptimal with larger $q$. The reason is that this estimator is vulnerable if there are many attacked samples concentrating in a small region. To address this issue, we propose a correction method by projecting the initial estimate to the space of Lipschitz functions. The final estimate is nearly minimax optimal for arbitrary $q$, up to a $\ln N$ factor.

研究の動機と目的

• 非パラメトリック回帰が中毒攻撃に対して脆弱である問題に対処する。特に、サイズNのデータセットのうち最大q個のサンプルが敵対的に改ざんされる状況を想定する。
• ミニマックス下界を用いて、このような攻撃下における頑健な非パラメトリック回帰の理論的限界を分析する。
• 攻撃サンプルが局所領域に集中している場合でも、最適な収束速度を維持できる手法を設計する。
• 関数の連続性を活用したリプシッツ投影により、初期M推定量が高腐合領域で失敗するのを是正する。

提案手法

• 敵対的汚染下でも頑健性と一貫性を両立できるように、Huber損失の最小化に基づくM推定量を提案する。
• 小さな残差に対しては2次関数、大きな残差に対しては線形関数となる重み付きHuber損失を用い、外れ値への感受性を低減する。
• リプシッツ連続性とサブ指数的ノイズの仮定の下で、ℓ₂およびℓ∞リスクの収束速度を導出する。
• 初期推定量をℓ₁最小化によってリプシッツ関数の空間に射影する補正ステップを導入し、滑らかさを強制する。
• 集中型攻撃下でも、ln N要因を除いてほぼミニマックス最適な推定量が得られることを示した。
• 適応的帯域幅とフィルタリングを用いたカーネル推定を採用し、グローバル一貫性を損なわずに局所的頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 中毒攻撃下における頑健な非パラメトリック回帰の理論的限界は何か？ また、汚染されたサンプル数qとデータセットサイズNにどのように依存するか？
• RQ2 qが小さい場合には最適であるにもかかわらず、なぜ初期HuberベースのM推定量は集中型攻撃下で失敗するのか？
• RQ3 元の関数のリプシッツ連続性といった構造的仮定を組み込むことで、推定誤差を改善できるか？
• RQ4 後処理としての補正ステップを用いることで、任意のqに対してℓ₂リスクでほぼミニマックス最適性を達成できるか？
• RQ5 ランダム攻撃および集中型攻撃の両方において、本手法の性能は、従来の頑健推定量（トリムム平均やメジアンオブメジアン）と比べてどのように異なるか？

主な発見

• 初期HuberベースのM推定量は、敵対的汚染下でもℓ∞誤差率においてミニマックス最適性を達成する。
• qが小さい場合には初期推定量のℓ₂誤差もミニマックス最適であるが、qが増加するにつれて局所的攻撃の集中により劣化し、非最適となる。
• 劣化の原因は、集中型攻撃が局所近傍を圧倒し、初期推定量が高腐合領域で信頼できなくなることに起因する。
• 提案されたリプシッツ投影による補正により、特に初期推定量が失敗する領域において推定誤差が顕著に低減される。
• 補正済み推定量は、ℓ₂リスクにおいてln N要因を除いてほぼミニマックス最適であり、理論的頑健性が強く示された。
• UCIデータセットにおける実験結果から、補正済み推定量はカーネル回帰、トリムム平均、メジアンオブメジアンを上回る性能を示した。特に集中型攻撃下では、RMSEが一部のケースで最大50％まで低減された。