[論文レビュー] Choosing the Sample with Lowest Loss makes SGD Robust

Vatsal Shah, Xiaoxia Wu+1 more|arXiv (Cornell University)|Jan 10, 2020

Statistical Methods and Inference参考文献 35被引用数 11

ひとこと要約

本稿では、各反復でランダムに選ばれたk個のサンプルの中から損失が最小のサンプルを選択する、確率的勾配降下法のロバストな変種であるMin-k Loss SGD（MKL-SGD）を提案する。低損失のサンプルに注目することで、MKL-SGDは凸機械学習問題において外れ値に対して優れたロバスト性を達成し、理論的保証により、外れ値の存在下でも通常のSGDよりも悪い局所最適解を避け、より良い解に収束することを示している。特にkが十分に大きい場合に顕著である。

ABSTRACT

The presence of outliers can potentially significantly skew the parameters of machine learning models trained via stochastic gradient descent (SGD). In this paper we propose a simple variant of the simple SGD method: in each step, first choose a set of k samples, then from these choose the one with the smallest current loss, and do an SGD-like update with this chosen sample. Vanilla SGD corresponds to k = 1, i.e. no choice; k >= 2 represents a new algorithm that is however effectively minimizing a non-convex surrogate loss. Our main contribution is a theoretical analysis of the robustness properties of this idea for ML problems which are sums of convex losses; these are backed up with linear regression and small-scale neural network experiments

研究の動機と目的

• 機械学習データセットにおける標準的SGDの外れ値への感受性を緩和すること。
• アーキテクチャ的・アルゴリズム的変更をほとんど必要としない、シンプルで即時の拡張手法を提供すること。
• ノイズのない状況およびノイズのある状況（外れ値あり・なし）を含むさまざまな設定において、提案手法のロバスト性特性を理論的に分析すること。
• ラベルの破損下で線形回帰およびディープラーニングタスク（MNIST、CIFAR-10）に対して、実験的に手法を検証すること。
• k個のサンプルから最小損失のサンプルを選択することで、通常のSGDよりも収束性とロバスト性が向上することを示すこと。

提案手法

• 各SGD反復において、訓練データからランダムにk個のサンプルを選択する。
• このセットの中から現在の損失が最小のサンプルを選んで勾配更新に用いる。
• 更新則は標準的なSGDに従う：w_{t+1} = w_t - η∇f_i(w_t)，ここでiはセット内での最小損失を持つサンプルのインデックスである。
• 外れ値が存在しない状況でも、この手法は非凸な代替損失関数の最小化として解釈できる。
• 実用的な変種では、k個のサンプルを評価し、αk個のバッチを選択することで、効率性を向上させつつロバスト性を維持する。
• 理論的分析は強い凸損失関数に焦点を当て、ノイズのない状況およびノイズのある状況（外れ値あり・なし）における収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 k個のサンプルの中から最小損失のサンプルを選択することで、SGDにおける外れ値に対するロバスト性が向上するか？
• RQ2 さまざまなデータ条件（ノイズなし・あり、外れ値あり・なし）における収束性および局所最適解の理論的挙動は？
• RQ3 外れ値が存在する状況において、kの選択が収束速度とロバスト性のトレードオフにどのように影響するか？
• RQ4 線形回帰およびディープラーニングの両設定において、MKL-SGDは標準的SGDやメジアン損失SGDといった他のロバストベースラインを上回るか？
• RQ5 代替損失関数が非凸であっても、MKL-SGDは悪い局所最適解を避けることができるか？

主な発見

• 外れ値が存在する状況では、kが十分に大きく、高損失のサンプルの影響を低減できる場合、MKL-SGDは通常のSGDよりも真の最適解により良い収束を達成する。
• ノイズのない状況で外れ値が存在する場合、真の最適解w*に近い局所最適解がMKL-SGDでは通常のSGDの固定点よりも優れている。ただし、条件数に依存する閾値を超えるkである必要がある。
• 線形回帰において、MKL-SGDはSGDおよびメジアン損失SGDを上回り、kを大きくすることでロバスト性が向上するが、収束速度に影響を与える。
• MNISTで2層のCNNとラベルノイズを用いた実験では、MKL-SGD（α=0.9, k=10）がε=0.1の方向的ノイズ下で97.23%の精度を達成し、SGD（96.76%）を上回り、オラクル性能（98.52%）に近づいた。
• CIFAR-10でResNet-18と方向的ノイズを用いた実験では、MKL-SGD（α=0.7, k=16）がε=0.1で81.00%の精度を達成し、SGD（79.1%）を上回り、オラクル性能（84.56%）に近づいた。
• 理論的分析により、ノイズのない状況では、代替損失関数が非凸であってもMKL-SGDが悪い局所最適解を避けることが確認された。