[論文レビュー] Classification of Heavy-tailed Features in High Dimensions: a Superstatistical Approach

Urte Adomaityte, Gabriele Sicuro+1 more|arXiv (Cornell University)|Apr 6, 2023

Statistical Methods and Inference被引用数 4

ひとこと要約

本稿は、重たい尾を持つ特徴量を有する高次元設定における二値分類を分析するためのスーパー統計的フレームワークを導入する。データはスカラー分布 $\varrho$ からランダムに抽出された分散をもつガウス分布の混合としてモデル化される。レプリカ法を用いて、一般化誤差およびトレーニング誤差の正確な漸近的表現を導出し、トレーニング損失が重たい尾を持つ分布に依存せず、$\varrho$ とも独立していることを明らかにした。これは、この領域において「ガウス的普遍性」が成立することを裏付ける。

ABSTRACT

We characterise the learning of a mixture of two clouds of data points with generic centroids via empirical risk minimisation in the high dimensional regime, under the assumptions of generic convex loss and convex regularisation. Each cloud of data points is obtained via a double-stochastic process, where the sample is obtained from a Gaussian distribution whose variance is itself a random parameter sampled from a scalar distribution $\varrho$. As a result, our analysis covers a large family of data distributions, including the case of power-law-tailed distributions with no covariance, and allows us to test recent "Gaussian universality" claims. We study the generalisation performance of the obtained estimator, we analyse the role of regularisation, and we analytically characterise the separability transition.

研究の動機と目的

• 重たい尾を持つ特徴量を有する高次元二値分類における経験的リスク最小化の一般化性能を分析すること。
• 非ガウス的、パワー則的尾を持つデータ分布が存在する状況における凸正則化の役割を調査すること。
• 非ガウス的共変量を有する分類タスクにおいて「ガウス的普遍性」の主張が妥当かどうかを検証すること。
• 重たい尾を持つデータを有する高次元設定における分離遷移を特徴付けること。
• 無限大の分散を有する分布を含む、ガウス仮定を超えた高次元漸近的分析を拡張すること。

提案手法

• 各データクラスタを二重確率的プロセスとしてモデル化：$\mathcal{N}(\bm{\mu}, \Delta \mathbf{I}_d)$ に従うサンプルで、$\Delta$ は分布 $\varrho$ に従う確率変数。
• レプリカ法を用いて、$n,d \to \infty$ かつ $n/d = \alpha$ を固定する極限におけるテスト誤差およびトレーニング誤差の正確な漸近的表現を導出する。
• 順序パラメータ $v, q, \hat{v}, \hat{q}$ の固定点方程式を導出し、$\varrho$ における $\Delta$ の期待値を含む、例えば $\delta_k = \mathbb{E}[(1 + v\Delta)^{-k}]$ のような量を含む。
• 状態遷移とシュタインの補題を用いて数値計算を安定化させ、特にロジスティック損失の場合は $\hat{v}$ の更新式を損失関数の2階微分を用いて再定式化する。
• モア・ペンローズの擬似逆行列（2次損失）およびScikit-learnのLogisticRegression（ロジスティック損失）を用いた数値実験を行い、理論的予測の妥当性を検証する。
• 特に $\lambda \to 0$ の極限において、異なる $\varrho$（例：逆ガンマ分布）を用いて普遍性をテストする。

実験結果

リサーチクエスチョン

• RQ1 無限大の分散を有する重たい尾を持つデータ分布において、高次元二値分類のトレーニング誤差は普遍的であるか？
• RQ2 特徴量が重たい尾を持ち非ガウス的である場合、凸正則化は一般化性能にどのように影響を与えるか？
• RQ3 任意の重心間隔を有する2つの重たい尾を持つデータクラスタの混合に対する、一般化誤差の正確な漸近的挙動は何か？
• RQ4 非ガウス的、スーパー統計的データモデル下で、高次元分類における分離遷移を解析的に特徴づけることは可能か？
• RQ5 2次モーメントが存在しないパワー則的尾を持つデータ分布において、「ガウス的普遍性」の主張はどの程度成立するか？

主な発見

• トレーニング損失は $\lambda \to 0$ の極限において、$\varrho$ に依存しない普遍的公式 $\epsilon_\ell = \frac{1}{2}(1 - 1/\alpha)_+$ に収束する。
• 一般化誤差 $\epsilon_g$ は $\delta_1 = \mathbb{E}[(1 + v\Delta)^{-1}]$ を通じて $\varrho$ に明示的に依存しており、テスト性能における非普遍性を示している。
• リッジ正則化付き2次損失の場合、$\delta_1$ および $\delta_2$ を含む固定点方程式を用いてテスト損失が解析的に特徴づけられる。これらの量は $\varrho$ に依存する。
• 数値実験により、さまざまなパワー則減衰パラメータ $a$ に対して理論的予測とシミュレーションの間で極めて良好な一致が確認され、解析的枠組みの妥当性が裏付けられた。
• $a = 1/2$（無限大の分散）の場合は一般化誤差が発散し、理論的期待と整合的である。
• 本研究は、トレーニング誤差が高次元極限において普遍的であることを確認した。これは、重たい尾を持つデータに対しても、トレーニングフェーズにおけるガウス的普遍性の堅牢性を支持する。