[論文レビュー] Classification vs regression in overparameterized regimes: Does the loss function matter?

V. Sai Muthukumar, Adhyyan Narang+4 more|arXiv (Cornell University)|May 16, 2020

Face and Expression Recognition参考文献 59被引用数 46

ひとこと要約

この論文は、Gaussian特徴を持つ高度に過parameterizedな線形モデルにおいて、訓練損失（ヒンジ、ロジスティック、二乗）が同一の補間予測子を生み出す一方で、テスト損失は異なることを示す：0-1損失は分類の一般化をうまく行う可能性がある一方、二乗損失は回帰で一般化が不十分になる。

ABSTRACT

We compare classification and regression tasks in an overparameterized linear model with Gaussian features. On the one hand, we show that with sufficient overparameterization all training points are support vectors: solutions obtained by least-squares minimum-norm interpolation, typically used for regression, are identical to those produced by the hard-margin support vector machine (SVM) that minimizes the hinge loss, typically used for training classifiers. On the other hand, we show that there exist regimes where these interpolating solutions generalize well when evaluated by the 0-1 test loss function, but do not generalize if evaluated by the square loss function, i.e. they approach the null risk. Our results demonstrate the very different roles and properties of loss functions used at the training phase (optimization) and the testing phase (generalization).

研究の動機と目的

• Gaussian特徴を用いた線形モデルで、過parameterizationを用いた場合の分類と回帰の差異を動機づけて分析する。
• ヒンジ/ロジスティック/二乗損失での訓練が十分な過parameterizationの下で最小ノルム補間と同等になることを示す。
• テスト損失の選択（0-1 vs. 二乗）と分類対回帰の一般化への影響を調べ、分類が回帰よりも良く一般化する領域を強調する。
• 分類タスクのSVMと最小ℓ2ノルム補間子を非漸近的に結びつける分析を提供する。

提案手法

• 過parameterizedな線形予測子とGaussian特徴を用いたモデル設定。
• 二値ラベルの補間解（最小ℓ2ノルム）と実数値出力の補間解（最小ℓ2ノルム）を定義。
• 十分な有効過parameterizationの下でhard-margin SVMと最小ℓ2ノルム補間子が同等であることを示す（定理11）。
• 分類と回帰に対して補間解が一般化する条件を、フーリエ・信号処理の解釈へ拡張して分析する（定理13）。
• 過parameterizationの下での一般化に対する影響を調べるため、等方性と階層的(ビ-level)なアンサンブルを分析する。

実験結果

リサーチクエスチョン

• RQ1 過parameterizationは訓練損失（ヒンジ、ロジスティック、二乗）を同じ補間予測子に導くのか？
• RQ2 過parameterized領域において、テスト損失（0-1 vs. 二乗損失）は分類と回帰の一般化にどのような影響を与えるのか？
• RQ3 分類タスクにおいてhard-margin SVMと最小ℓ2ノルム補間子が一致する条件は何か？
• RQ4 特徴スペクトルと異方性は分類と回帰における補間予測子の一般化にどのように影響するのか？
• RQ5 最小ℓ2ノルム補間子が分類で良く一般化する一方で回帰で悪く一般化するような領域は存在するか？

主な発見

• 十分に過parameterizedな設定では、すべての訓練点がサポートベクターとなり、ヒンジ、ロジスティック、および二乗損失が同一の補間子（ラベルに対して最小ℓ2ノルム）を生み出す。
• 分類のテスト0-1損失が良く一般化する一方、回帰の平方損失一般化は不良で（無効なリスクに迫る）可能性がある領域が存在する。
• 強い過parameterizationの下でhard-margin SVMと最小ℓ2ノルム補間子は高確率で等価である（定理11）。
• 補間ベースの予測子は、ヒンジ以外の損失で訓練されても分類で一般化できる可能性があり、過parameterizedモデルでの一般化を margins の説明だけで説明するのは不十分であるという見方に挑戦する。
• フーリエ/信号処理の観点は最近の回帰分析と分類を結びつけ、分類補間子に対する非漸近的境界を提供する。
• 本研究は訓練フェーズの損失とテストフェーズの損失が、過parameterized領域で異なる役割を果たすことを示している。