[論文レビュー] Robust descent using smoothed multiplicative noise

Matthew J. Holland|arXiv (Cornell University)|Oct 15, 2018

Gaussian Processes and Bayesian Inference参考文献 11被引用数 9

ひとこと要約

本稿では、勾配を計算する前に観測値に滑らかな乗法的ノイズを適用する新しいロバスト勾配降下法を提案する。これにより、最小限の計算コストで強い理論的保証が得られ、反復的ロバスト化サブルーチンを必要とせず、重尾分布およびサブガウス分布の両方において優れた一般化性能を達成する。

ABSTRACT

To improve the off-sample generalization of classical procedures minimizing the empirical risk under potentially heavy-tailed data, new robust learning algorithms have been proposed in recent years, with generalized median-of-means strategies being particularly salient. These procedures enjoy performance guarantees in the form of sharp risk bounds under weak moment assumptions on the underlying loss, but typically suffer from a large computational overhead and substantial bias when the data happens to be sub-Gaussian, limiting their utility. In this work, we propose a novel robust gradient descent procedure which makes use of a smoothed multiplicative noise applied directly to observations before constructing a sum of soft-truncated gradient coordinates. We show that the procedure has competitive theoretical guarantees, with the major advantage of a simple implementation that does not require an iterative sub-routine for robustification. Empirical tests reinforce the theory, showing more efficient generalization over a much wider class of data distributions.

研究の動機と目的

• 重尾分布下での標準的経験リスク最小化（ERM）の一般化性能の低さを是正すること。
• サブガウス設定下で、メジアン・オブ・ミーンズやM推定量といった既存のロバスト手法の高い計算コストとバイアスを克服すること。
• 反復的でないシンプルな実装を可能にしつつ、強い理論的保証を維持するロバスト勾配降下手順を開発すること。
• 重尾および軽尾の両方を含む広範なデータ分布において、一般化効率を向上させること。

提案手法

• 重尾損失下での学習安定化のため、勾配計算の前に入力観測値に直接滑らかな乗法的ノイズを適用する。
• ノイズを施した観測値に基づき、外れ値への感受性を低減するため、ソフトトリunksされた勾配座標の和を構築する。
• 正規分布のCDFおよびPDFから導かれる補正項を用いて、期待勾配偏差を解析的にバインドする。
• M推定量やメジアン・オブ・ミーンズで用いられる高コストなサブルーチンを回避するため、反復的でない閉形式によるロバスト勾配推定を採用する。
• 勾配偏差の濃縮不等式および尾部バウンドを用いて、弱いモーメント仮定下での理論的リスクバウンドを導出する。
• 安定性を確保するため、分散および次元数から導かれるスケーリング係数を用いて勾配推定値を正規化する。

実験結果

リサーチクエスチョン

• RQ1 反復的サブルーチンを回避しつつも、強い理論的保証を維持できるロバスト勾配降下法を設計できるか？
• RQ2 提案手法は、重尾およびサブガウス分布下で一般化誤差の観点からどのように性能を発揮するか？
• RQ3 メジアン・オブ・ミーンズやM推定量といった既存のロバスト学習アルゴリズムと比較して、提案手法の計算コストはどの程度か？
• RQ4 滑らかな乗法的ノイズの使用は、従来のロバスト化技術と比較して、バイアス・バリアンスのトレードオフをどのように改善するか？
• RQ5 強い分布仮定を必要とせず、弱いモーメント仮定下でも近似的に最適なリスクバウンドを達成できるか？

主な発見

• 弱いモーメント仮定下でも、提案手法は既存のロバスト手法と同等またはそれ以上の競争力のあるリスクバウンドを達成する。
• 実験結果では、重尾およびサブガウス分布を含む広範なノイズ分布において、ERM-GDと比較して顕著に優れた一般化性能を示す。
• 反復的でない閉形式による勾配計算のおかげで、計算コストが低く抑えられ、反復的ロバスト化のオーバーヘッドを回避する。
• 固定された $ n/d $ ラベル比の高次元設定でも、パレート、ラプラス、ワイブルなど多様なノイズ族に対して安定した性能を示す。
• 期待勾配偏差の理論的上界は、標準正規分布のCDFおよびPDFを含む補正項を用いて導出され、正確なリスク制御を可能にする。
• さまざまなサンプルサイズ、ノイズレベル、次元数において性能が安定しており、重尾ノイズ下の回帰タスクにおいて一貫した誤差低減が見られる。