[論文レビュー] Capturing the learning curves of generic features maps for realistic data sets with a teacher-student model.

Bruno Loureiro, Cédric Gerbelot+5 more|arXiv (Cornell University)|Feb 16, 2021

Machine Learning and Data Classification被引用数 21

ひとこと要約

本論文は、高次元ガウス共変量モデルを用いて、現実のデータにおける学習曲線をモデル化するための教師-生徒フレームワークを導入し、一般化された特徴マップを用いる。漸近的訓練損失と一般化誤差の厳密な公式を導出し、ランダム射影やスキャタリング変換などの標準的な特徴マップを用いることで、カーネルベースの学習曲線を正確に捉えられることを示している。

ABSTRACT

Teacher-student models provide a powerful framework in which the typical case performance of high-dimensional supervised learning tasks can be studied in closed form. In this setting, labels are assigned to data - often taken to be Gaussian i.i.d. - by a teacher model, and the goal is to characterise the typical performance of the student model in recovering the parameters that generated the labels. In this manuscript we discuss a generalisation of this setting where the teacher and student can act on different spaces, generated with fixed, but generic feature maps. This is achieved via the rigorous study of a high-dimensional Gaussian covariate model. Our contribution is two-fold: First, we prove a rigorous formula for the asymptotic training loss and generalisation error achieved by empirical risk minimization for this model. Second, we present a number of situations where the learning curve of the model captures the one of a \emph{realistic data set} learned with kernel regression and classification, with out-of-the-box feature maps such as random projections or scattering transforms, or with pre-learned ones - such as the features learned by training multi-layer neural networks. We discuss both the power and the limitations of the Gaussian teacher-student framework as a typical case analysis capturing learning curves as encountered in practice on real data sets.

研究の動機と目的

• 教師と生徒が異なる空間で動作する設定に、一般化された特徴マップを用いた教師-生徒フレームワークを拡張すること。
• 一般化された特徴を用いた高次元設定における訓練損失と一般化誤差の厳密な漸近的公式を提供すること。
• ガウス型教師-生徒モデルが、ランダム射影やスキャタリング変換などの標準的特徴マップを用いて、現実のデータで観測される学習曲線を再現できるかどうかを評価すること。
• カーネル法を用いた実用的な機械学習シナリオのモデリングにおいて、このフレームワークの力と限界を評価すること。

提案手法

• 入力データが固定された一般化された特徴マップを用いて生成される高次元ガウス共変量モデルを採用する。
• 教師は特徴空間上の線形モデルを用いてデータにラベルを付与するが、生徒は教師のパラメータを回復するために経験的リスク最小化を実行する。
• 高次元極限における厳密な漸近的解析を実施し、訓練損失と一般化誤差の閉形式表現を導出する。
• 導出された学習曲線を、実データセットにおけるカーネル回帰および分類の結果と比較することで、分析の妥当性を検証する。
• 事前学習された特徴（例：深層ニューラルネットワークから得られるもの）および固定された特徴マップ（例：ランダム射影やスキャタリング変換）の両方に対応する。
• 理論的結果は、ランダム行列理論および高次元確率論の道具を用いて導出される。

実験結果

リサーチクエスチョン

• RQ1 一般化された特徴マップを用いた教師-生徒フレームワークは、カーネル法を用いて現実のデータで観測される学習曲線を正確に再現できるか？
• RQ2 高次元極限において、訓練損失と一般化誤差は特徴マップの選択にどのように依存するか？
• RQ3 ガウス型教師-生徒モデルは、オール・オブ・ザ・ボックスまたは学習済み特徴を用いて訓練されたモデルの挙動をどの程度正確に捉えられるか？
• RQ4 現実の学習ダイナミクスをモデル化する際、ガウス仮定の限界は何か？

主な発見

• 一般化された特徴マップを用いた高次元極限における訓練損失と一般化誤差の厳密な漸近的公式が導出された。
• ランダム射影やスキャタリング変換を特徴マップとして用いることで、実データセットにおけるカーネル回帰および分類の学習曲線をフレームワークが正確に捉えている。
• 深層ニューラルネットワークによって事前学習された特徴を用いて得られる学習曲線に対しても、同様に再現可能であり、実用的関連性が示された。
• ガウス型教師-生徒フレームワークは、現実の学習ダイナミクスの典型的なケース分析として有効であるが、その正確性は特徴マップの構造とデータ分布に依存する。