[論文レビュー] Classification vs regression in overparameterized regimes: Does the loss function matter?

V. Sai Muthukumar, Adhyyan Narang+4 more|arXiv (Cornell University)|May 16, 2020

Spectroscopy and Chemometric Analyses被引用数 30

ひとこと要約

本論文は、Gaussian featuresを用いた過パラメータ化線形モデルにおける分類と回帰を分析し、十分な過パラメータ化の下でトレーニング損失関数（hinge、logistic、square）が同一の予測子を生み出す一方、テスト損失（0-1 vs square）が一般化において異なる可能性があることを示す。

ABSTRACT

We compare classification and regression tasks in an overparameterized linear\nmodel with Gaussian features. On the one hand, we show that with sufficient\noverparameterization all training points are support vectors: solutions\nobtained by least-squares minimum-norm interpolation, typically used for\nregression, are identical to those produced by the hard-margin support vector\nmachine (SVM) that minimizes the hinge loss, typically used for training\nclassifiers. On the other hand, we show that there exist regimes where these\ninterpolating solutions generalize well when evaluated by the 0-1 test loss\nfunction, but do not generalize if evaluated by the square loss function, i.e.\nthey approach the null risk. Our results demonstrate the very different roles\nand properties of loss functions used at the training phase (optimization) and\nthe testing phase (generalization).\n

研究の動機と目的

• 過パラメータ化が分類と回帰の学習済み予測子とトレーニング損失関数の関係に与える影響を調査する。
• 高度に過パラメータ化された設定におけるhard-margin SVMとminimum-ell2-norm interpolatorsの同値性を確立する。
• 異なるテスト損失指標（0-1 vs square）下で、補間解が分類で良く一般化するのか回帰で悪くなるのかを特徴付ける。
• 信号処理の視点と非漸近的境界を用いて回帰分析を分類へ橋渡しする。

提案手法

• ガウス特徴と線形目的関数を持つ過パラメータ化線形モデルの形式的設定。
• 分類と回帰の補間解（minimum-ell2-norm interpolationsとSVM）を定義・比較する。
• 信号処理の観点を用いた分類のminimum-ell2-norm interpolatorの非漸近分析。
• すべての訓練点がサポートベクターになるときと、テスト損失がタスクごとに発散する regimesを同定する。
• 異なる過パラメータ化レベルの下で一般化を研究するために等方性（isotropic）と二段階的（bi-level）特徴集合を使用する。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化はすべての訓練点をサポートベクターにし、異なる訓練損失が同一の予測子を生み出すのか。
• RQ2 テスト損失の選択（0-1 vs square）は過パラメータ化レジームにおける分類と回帰の一般化にどのように影響するのか。
• RQ3 minimum-ell2-norm interpolatorsは分類では良く一般化するが回帰ではそうでない条件は何か。
• RQ4 回帰分析の知見をフーリエ/信号処理の視点を通じて分類タスクへ拡張できるか。
• RQ5 特徴の異方性とアンサンブル設計（isotropic/bi-level）が補間解の一般化挙動に果たす役割は何か。

主な発見

• 十分な過パラメータ化のもとで、hard-margin SVMと二値ラベルに対するminimum-ell2-norm補間は高確率で同一の予測子を生み出す。
• 同じminimum-ell2-norm補間器は、使用されるテスト損失次第で分類には良く一般化するが回帰にはそうでない。
• 補間解が0-1分類性能は良好でありながらsquare-loss回帰性能が低い域が存在し、タスク間での一般化挙動の違いを強調する。
• トレーニング損失の選択（hinge、logistic、square）は高い過パラメータ化設定で予測子に対して同等となり得ることを示し、学習した予測子よりもテスト基準が重要である可能性を示唆する。
• 信号処理的な解釈が回帰分析を分類と結びつけ、分類補間子の非漸近的境界を提供する。
• 実験的な例（例: Fourier特徴）ではすべての点がサポートベクターになる連続性が現れつつ、一般化はタスク次第で有利にも不利にもなり得ることを示す。