[論文レビュー] On the robustness of minimum-norm interpolators

Geoffrey Chinot, Matthias Löffler+1 more|arXiv (Cornell University)|Dec 1, 2020

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

この論文は、任意の誤差（悪意ある誤差を含む）が存在する線形モデルにおける最小ノルム補間推定量の一般理論を確立し、予測誤差が共変数のラデマッハ複雑度、誤差の最小ノルム補間推定量のノルム、および部分微分の幾何構造によって上限付けられることを示している。過パrameter化が標本サイズよりも少なくとも対数的に大きい場合、スパースまたは低ランクモデルでは予測誤差が平均ノイズレベルのオーダーに達することを示している。

ABSTRACT

This article develops a general theory for minimum-norm interpolated estimators in linear models in the presence of additive, potentially adversarial, errors. In particular, no conditions on the errors are imposed. A quantitative bound for the prediction error is given, relating it to the Rademacher complexity of the covariates, the norm of the minimum norm interpolator of the errors and the shape of the subdifferential around the true parameter. The general theory is illustrated with several examples: the sparse linear model with minimum $\ell_1$-norm or group Lasso penalty interpolation, the low rank trace regression model with nuclear norm minimization, and minimum Euclidean norm interpolation in the linear model. In case of sparsity or low-rank inducing norms, minimum norm interpolation yields a prediction error of the order of the average noise level, provided that the overparameterization is at least a logarithmic factor larger than the number of samples. Lower bounds that show near optimality of the results complement the analysis.

研究の動機と目的

• 任意の加法的誤差を伴う線形モデルにおける最小ノルム補間推定量の一般理論的枠組みの構築を目的とする。
• 誤差項に確率分布の仮定を課さずに予測誤差の上限を分析することを目的とする。
• 過パrameter化、共変数構造、および部分微分の幾何構造が推定精度に与える役割を同定することを目的とする。
• 最小ノルム補間がスパースおよび低ランク設定において、最小限の仮定のもとで近似的に最適性を達成することを示すこと。

提案手法

• 共変数構造が予測誤差に与える影響を定量化するために、ラデマッハ複雑度を用いる。
• 予測誤差の上限を導出し、その上限が誤差の最小ノルム補間推定量のノルムおよび真のパラメータ回りの部分微分の形状に依存することを示す。
• ℓ₁ノルム、グループラッソ、核ノルムを含む一般ノルムに適用可能であり、スパarsityおよび低ランク回復の解析を可能にする。
• 双対性と部分勾配幾何を活用して、高次元設定における最小ノルム推定量の挙動を特徴付ける。
• スパース線形モデル（ℓ₁ノルム）、グループラッソ、低ランクトレース回帰（核ノルム）という3つの代表的モデルにフレームワークを適用する。
• 得られた誤差率が与えられた仮定のもとでほぼ最適であることを示す下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 分布的仮定を課さずに、任意の誤差（悪意ある誤差を含む）が存在する状況下での最小ノルム補間推定量の予測誤差の挙動はいかなるものか？
• RQ2 過パrameter化は、スパースまたは低ランクモデルにおける予測誤差をどのように制御するか？
• RQ3 部分微分の幾何構造と共変数のラデマッハ複雑度は、推定精度にどのように影響するか？
• RQ4 高次元設定において、最小ノルム補間は平均ノイズレベルのオーダーの予測誤差を達成できるか？
• RQ5 導出された誤差上限はほぼ最適であり、このような推定量の根本的限界は何か？

主な発見

• 予測誤差は、共変数のラデマッハ複雑度に比例する項、誤差の最小ノルム補間推定量のノルム、および真のパラメータ回りの部分微分の局所的幾何構造に依存する上限で抑えられる。
• ℓ₁ノルム補間を用いたスパース線形モデルでは、過パrameter化が標本サイズの対数要因を上回る場合、予測誤差は平均ノイズレベルのオーダーに達する。
• 核ノルム最小化を用いた低ランクトレース回帰においても、同様の過パrameter化条件のもとで同じ誤差率が達成される。
• 解析により、導出された誤差率が考察された設定においてほぼ最適であることが下界から確認される。
• 誤差に任意のモーメントや分布的仮定を課さないため、このフレームワークは悪意ある汚染に対しても頑健である。