[論文レビュー] Multiple Descent: Design Your Own Generalization Curve

Lin Chen, Yifei Min+2 more|arXiv (Cornell University)|Aug 3, 2020

Neural Networks and Applications参考文献 52被引用数 28

ひとこと要約

この論文は、データおよびモデルの特性を制御することにより、線形回帰における一般化誤差曲線を任意の数の降下とピークを示すように明示的に設計できることを示している。過パラメータ化およびアンダーパラメータ化の両領域における理論的分析を通じて、著者らは、古典的なU字型曲線およびデュアル・ディセント曲線がモデル族固有のものではなく、データに起因するバイアスとの相互作用から生じることを証明し、一般化曲線の形状を完全に制御可能であることを示している。

ABSTRACT

This paper explores the generalization loss of linear regression in variably parameterized families of models, both under-parameterized and over-parameterized. We show that the generalization curve can have an arbitrary number of peaks, and moreover, locations of those peaks can be explicitly controlled. Our results highlight the fact that both classical U-shaped generalization curve and the recently observed double descent curve are not intrinsic properties of the model family. Instead, their emergence is due to the interaction between the properties of the data and the inductive biases of learning algorithms.

研究の動機と目的

• 線形回帰における一般化曲線が2つより多くの降下を示せるかどうかを調査すること。
• 一般化曲線の降下の数と位置を明示的に制御可能かどうかを特定すること。
• U字型またはデュアル・ディセント曲線がモデル族固有の性質であるという仮定を挑戦すること。
• 一般化曲線の形状が、モデルの誘導的バイアスとデータ構造の相互作用から生じることを示すこと、モデル族の性質だけでは決まらないこと。

提案手法

• 著者らは、パラメータ数を変化させたモデル族における線形回帰を分析し、データ次元とモデルの複雑さを変動させる。
• ランダム行列理論とムーア・ペンローズ一般化逆行列の性質を用いて、期待一般化誤差の正確な式を導出する。
• 構造化されたデータとモデルパラメータを導入することで、設計行列のランクとスペクトル特性を制御し、リスク曲線を形作る。
• この手法では、一般化誤差がデータ共分散と設計行列の一般化逆行列との相互作用に依存するようなデータ分布を構築する。
• 漸近的解析と集中不等式を用いて、期待リスクを調整することで任意の降下パターンを生成できることを示す。
• 理論的結果は、連続する次元間でのリスク差の明示的バインドを通じて検証され、制御された条件下で期待誤差が単調に増加または減少することを証明する。

実験結果

リサーチクエスチョン

• RQ1 線形回帰における一般化曲線は2つより多くの降下を示せるか？
• RQ2 一般化曲線のピークおよび谷の数と位置を明示的に制御可能か？
• RQ3 U字型またはデュアル・ディセント曲線はモデル族固有の性質であるのか、それともデータと誘導的バイアスの影響の産物であるのか？
• RQ4 制御されたデータおよびモデル構造を通じて、一般化誤差を任意の降下パターンに設計可能か？

主な発見

• 線形回帰における一般化曲線は、データおよびモデル設計に応じて任意の数の降下とピークを持つように構築可能である。
• 著者らは、古典的なU字型曲線およびデュアル・ディセント曲線がモデル族固有のものではなく、データに起因するバイアスとの相互作用から生じることを証明している。
• 任意の所望の降下の数に対して、その対応する一般化曲線を実現するデータ分布とモデル設定が存在する。
• データ分布パラメータを調整することで、連続する次元間での期待一般化誤差を増加または減少させることができる。
• ノイズが小さい極限では、次元間のリスク差が負になることがあり、これにより降下が可能になる。一方、他の領域では正になるため上昇が可能になる。
• 本論文は、一般化曲線がモデルの複雑さのみによって決定されるのではなく、データおよびモデル構造を介して完全に調整可能であることを確立している。