[論文レビュー] Spectral risk-based learning using unbounded losses

Matthew J. Holland, El Mehdi Haress|arXiv (Cornell University)|May 11, 2021

Fault Detection and Control Systems参考文献 35被引用数 5

ひとこと要約

本稿では、非有界で重たい尾を持つ損失分布を用いたスペクトルリスク最小化の導関数フリーな学習フレームワークを提案する。確率的スムージングとコンfidエンスブースティングを組み合わせることで、有限標本における期待値の超過リスクバインドと、有限分散のもとでの高確率保証を達成する。計算的に効率的なバージョンは、ベンチマークデータセット全体で、標準的ERM（経験的リスク最小化）よりもスペクトルリスクと誤分類誤差の両面で優れた性能を示す。

ABSTRACT

In this work, we consider the setting of learning problems under a wide class of spectral risk (or "L-risk") functions, where a Lipschitz-continuous spectral density is used to flexibly assign weight to extreme loss values. We obtain excess risk guarantees for a derivative-free learning procedure under unbounded heavy-tailed loss distributions, and propose a computationally efficient implementation which empirically outperforms traditional risk minimizers in terms of balancing spectral risk and misclassification error.

研究の動機と目的

• 非有界で重たい尾を持つ損失分布におけるスペクトルリスクのためのロバストな学習フレームワークの不足に対処すること。
• スペクトルリスクと分類誤差の両方をバランスさせる、従来の経験的リスク最小化の代替として計算的に効率的な手法を開発すること。
• 先行研究よりも弱いモーメント仮定のもとで、有限標本における超過リスク保証を提供すること。
• スペクトルリスク最小化の適用範囲を、凸かつ有界な損失の設定を超えて拡張すること。
• 実験的に、提案手法が実際の応用において標準的ERMを上回る一般化性能を示すことを検証すること。

提案手法

• スペクトルリスク関数の近似に確率的スムージング技術を用い、導関数フリー最適化を可能にする。
• 標本分割を用いたアルゴリズム1の修正版を用いて、期待値に基づく有限標本における超過スペクトルリスクバインドを導出する。
• コンfidエンスブースティングを適用し、期待値に基づくバインドを、有限分散のみを仮定したもとでの高確率保証に変換する。
• 勾配情報を損失から統合した修正実装により、収束速度を向上させつつもロバスト性を維持する。
• サブサンプリングと分散制御を活用し、重たい尾を持つ分布下でもスペクトルリスクの安定した推定を保証する。
• 複数のサブプロセスにおける和集合バインドを用いて理論的保証を導出し、集中不等式と有界分散仮定を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 非有界で重たい尾を持つ損失分布のもとで、導関数フリーな学習手順が有限標本における超過スペクトルリスクバインドを達成できるか？
• RQ2 有限分散のみを仮定する状況で、高確率的な超過リスク保証をどのように確立できるか？
• RQ3 計算的に効率的な手法の変種が、スペクトルリスクと誤分類誤差の両面で標準的ERMを上回れるか？
• RQ4 提案手法が、損失の尾の挙動が異なる多様なベンチマークデータセットにおいて、どの程度一般化性能を発揮するか？
• RQ5 勾配情報の統合が、ロバスト性を損なわずに収束速度にどのような影響を与えるか？

主な発見

• 提案手法は、リプシッツ連続なスペクトル密度と有限の2次のモーメントのみを仮定したもとで、有限標本における超過スペクトルリスクバインドを期待値として達成する。
• コンfidエンスブースティングとサブサンプリングを用いることで、有限分散のみを仮定したもとで高確率的な超過リスクバインドを確立する。
• 勾配情報を統合した修正版は、複数のデータセットで標準的ERMよりも収束が早く、スペクトルリスクも低くなる。
• 実験的に、adult, cifar10, emnist_balanced, fashion_mnist といった複数のベンチマークデータセット全体で、誤分類誤差の観点から、ERMを均一に上回る性能を示す。
• 理論的分析により、重たい尾を持つ損失分布下でも、手法の超過リスクが最適バインドと整合するレートで減少することが示される。
• 有界またはサブガウス型の損失仮定を必要とせず、スペクトルリスク学習に関する先行研究を拡張する形で、強力な一般化性能を維持する。