[論文レビュー] Does data interpolation contradict statistical optimality?

Mikhail Belkin, Alexander Rakhlin+1 more|arXiv (Cornell University)|Jun 25, 2018

Advanced Statistical Methods and Models参考文献 10被引用数 76

ひとこと要約

本論文は、補間推定量が Hölder 光滑性の下でノンパラメトリック回帰および二乗損失予測に対して minimax-optimal rates を達成できることを示しており、補間が統計的性能を損なうという信念に挑戦している。

ABSTRACT

We show that learning methods interpolating the training data can achieve optimal rates for the problems of nonparametric regression and prediction with square loss.

研究の動機と目的

• Interpolation が現代の学習設定において良好なアウト・オブ・サンプル性能をもたらすという謎を動機づける。
• 補間推定量がノンパラメトリック回帰に対して minimax optimal レートを達成できることを示す。
• 特異カーネル Nadaraya-Watson 推定量のクラスに対して有限サンプルのリスク境界を確立する。
• 標準的な仮定の下で、補間は過剰損失の最適性を妨げないことを示す。

提案手法

• 奇異なカーネル K(u) = ||u||^{-a} I{||u|| ≤ 1} および派生形を用いて、補間推定量 f_n を構築する。
• 帯域幅 h を用いた Nadaraya-Watson 推定量を分析し、 Hölder 光滑性 f ∈ Σ(β,L) の下で f_n(X) のリスク境界を導く。
• 点値および積分化した MSE 境界を提供し、β ∈ (0,2] の下でそれらが minimax レート n^{-2β/(2β+d)} を達成することを証明する。
• 誤差をバイアスと分散に分解し、仮定 (A1)-(A2) および密度の正則性の下で各項を上 سن bound する。
• バイアス-分散項のバランスを取り、h = n^{-1/(2β+d)} を選ぶことで主レートを得る。
• 他の特異カーネルや、回帰関数が Hölder クラスに属する場合の過少指定モデルへの拡張を論じる。

Figure 1: Interpolation with $K\left(u\right)=\left\|u\right\|^{-a}{\mathbf{I}}{\left\{\left\|u\right\|\leq 1\right\}}$ , $a=0.49$ , and various values of $h$ .

実験結果

リサーチクエスチョン

• RQ1 Hölder 光滑性の下でノンパラメトリック回帰に対して補間推定量は minimax-optimal レートを達成できるか？
• RQ2 回帰関数が Hölder クラスに属する場合、平方和損失での予測において補間規則は最適な過剰損失をもたらすか？
• RQ3 補間推定量の最適レートを保証するカーネル・帯域幅・密度の条件は何か？
• RQ4 特異カーネル補間子のバイアスと分散の挙動はどうなり、どうバランスすべきか？

主な発見

• 補間推定量は f ∈ Σ(β,L) を持つ場合 β ∈ (0,2] で L2(P_X) で f を推定する際 classical minimax レート n^{-2β/(2β+d)} を達成できる。
• 適切な帯域幅を用いた特異カーネルを用いると、β ∈ (0,2] の下で有限サンプルのリスク境界が minimax レートと一致する。
• β ∈ (1,2] の場合、密度 p が Σ(β−1,L_p) に属する追加仮定の下でレートが成り立ち、密度の支持上でゼロから離れている。
• 統合された MSE E||f_n − f||^2_{L2(P_X)} は、上記条件の下で C n^{-2β/(2β+d)} により有界である。
• 補間推定量 f_n は不適切（その滑らかさは n に依存する）が、モデルが f ∈ Σ(β,L) で適切に指定されていれば過剰損失の最適性を達成する。
• 数値例は、補間カーネルが局所的に鋭い適合を生み出しつつ最適レートと整合することを示している。

Figure 2: Interpolation with $K\left(u\right)=\left\|u\right\|^{-a}[1-\left\|u\right\|]^{2}_{+}$ , $a=0.49$ , and various values of $h$ .